Reliability Patterns — Retry, Circuit Breaker, Saga
Retry với exponential backoff, Circuit Breaker để chặn cascading failure, Saga Pattern thay thế transaction phân tán, và Dead-letter Queue.
Trong kiến trúc microservices, lỗi mạng và service tạm thời không phản hồi là chuyện xảy ra hàng ngày, không phải ngoại lệ hiếm gặp — hệ thống phải được thiết kế để chịu đựng điều đó như một điều kiện bình thường, không phải xử lý như 1 bug. Đây là những pattern kinh điển giúp hệ thống phân tán "gracefully degrade" (giảm chất lượng có kiểm soát) thay vì sập dây chuyền toàn bộ khi 1 mắt xích gặp sự cố.
🎯 Mục tiêu học tập
- Triển khai retry đúng cách với exponential backoff và jitter
- Cài đặt Circuit Breaker để ngăn 1 service lỗi kéo sập toàn bộ hệ thống gọi tới nó
- Áp dụng Saga Pattern để duy trì tính nhất quán khi 1 nghiệp vụ trải qua nhiều service
- Thiết kế Dead-letter Queue cho message xử lý thất bại liên tục
Retry với Exponential Backoff và Jitter
import random, time
def call_with_retry(fn, max_retries=5):
for attempt in range(max_retries):
try:
return fn()
except TransientError:
if attempt == max_retries - 1:
raise
base_delay = 2 ** attempt # 1s, 2s, 4s, 8s, 16s — tăng theo cấp số nhân
jitter = random.uniform(0, base_delay * 0.5)
time.sleep(base_delay + jitter)
Exponential backoff tránh việc client dội request liên tục vào 1 service đang gặp sự cố (làm tình hình tệ hơn). Jitter (độ trễ ngẫu nhiên thêm vào) giải quyết vấn đề "thundering herd": nếu hàng nghìn client cùng bị lỗi ở cùng 1 thời điểm và đều dùng backoff giống hệt nhau, chúng sẽ đồng loạt retry lại đúng cùng 1 thời điểm, tạo ra 1 đợt sóng tải mới — jitter làm lệch thời điểm retry giữa các client.
Quan trọng không kém: chỉ retry lỗi tạm thời (timeout, 503, network error) — không bao giờ retry lỗi vĩnh viễn (400 Bad Request, 404) vì chắc chắn sẽ thất bại lại giống hệt, chỉ lãng phí tài nguyên.
Circuit Breaker — ngừng gọi 1 service đang sập, tránh cascading failure
Circuit Breaker theo dõi tỷ lệ lỗi khi gọi tới 1 service, hoạt động theo 3 trạng thái:
| Trạng thái | Hành vi |
|---|---|
| Closed (đóng — bình thường) | Cho phép gọi bình thường, đếm số lỗi |
| Open (mở — ngắt mạch) | Tỷ lệ lỗi vượt ngưỡng — TỪ CHỐI NGAY mọi lời gọi tiếp theo mà không cần chờ timeout, trả lỗi/fallback ngay lập tức |
| Half-Open (thử lại) | Sau 1 khoảng thời gian, cho phép 1 vài request thử nghiệm đi qua để kiểm tra service đã hồi phục chưa |
Lợi ích cốt lõi: khi service B đang sập, nếu không có circuit breaker, service A vẫn tiếp tục gửi request và chờ timeout cho từng request (có thể vài giây mỗi lần) — làm cạn kiệt thread pool/connection pool của A, khiến A cũng sập theo dù bản thân A không có lỗi gì (đây chính là cascading failure). Circuit breaker cắt đứt vòng lặp này bằng cách từ chối ngay lập tức khi đã biết B đang có vấn đề.
Saga Pattern — thay thế distributed transaction
1 nghiệp vụ trải qua nhiều service (đặt phòng khách sạn cần: giữ chỗ, trừ tiền, gửi vé) không thể dùng 2-phase-commit truyền thống một cách thực tế ở quy mô lớn (chậm, phức tạp, không phù hợp hạ tầng phân tán hiện đại). Saga Pattern chia nghiệp vụ thành chuỗi các bước, mỗi bước có 1 compensating transaction (hành động bù trừ) để hoàn tác nếu bước sau thất bại:
1. Reserve Room (thành công) -> compensate: Cancel Reservation
2. Charge Payment (THẤT BẠI!) -> không có gì để compensate ở bước này
=> Chạy compensating transaction ngược lại: Cancel Reservation (hoàn tác bước 1)
2 cách điều phối Saga: Choreography (mỗi service tự lắng nghe event và tự quyết định hành động tiếp theo, không có nhạc trưởng trung tâm — đơn giản cho saga ngắn nhưng khó theo dõi toàn cảnh khi phức tạp) và Orchestration (1 service điều phối trung tâm ra lệnh từng bước, dễ theo dõi/debug hơn nhưng service điều phối trở thành điểm phức tạp tập trung). Saga đảm bảo eventual consistency, không phải tính nhất quán tức thời như transaction ACID truyền thống (khoá Database Engineering Module 4) — đây là đánh đổi cần chấp nhận khi làm việc xuyên nhiều service.
Dead-letter Queue — nơi message "không thể xử lý" đi về
Khi 1 message liên tục thất bại dù đã retry nhiều lần (lỗi dữ liệu, bug logic không tự khỏi bằng retry), để nó tiếp tục nằm trong queue chính sẽ chặn các message khác phía sau (head-of-line blocking) hoặc lặp vô hạn. Dead-letter Queue (DLQ) là nơi các message này được chuyển tới sau N lần retry thất bại, tách khỏi luồng xử lý chính để không ảnh hưởng message khoẻ mạnh khác — đội vận hành theo dõi DLQ riêng để điều tra và xử lý thủ công (hoặc replay lại sau khi đã sửa bug gây lỗi).
🏋️ Bài tập thực hành
Xây 1 client gọi tới service giả lập có thể "sập" theo yêu cầu (trả lỗi 503 liên tục). Triển khai Circuit Breaker (dùng thư viện có sẵn hoặc tự viết state machine 3 trạng thái) bọc quanh lời gọi này, chứng minh: khi service sập, circuit chuyển sang Open và các lời gọi tiếp theo bị từ chối ngay (không chờ timeout), sau đó tự chuyển Half-Open và đóng lại khi service hồi phục. Thiết kế Saga (Orchestration) cho luồng đặt phòng khách sạn: Reserve Room -> Charge Payment -> Send Ticket, với đầy đủ compensating transaction cho từng bước, viết test giả lập bước Charge Payment thất bại và chứng minh Reserve Room được hoàn tác đúng.
📚 Tài nguyên học tập
-
Martin Fowler — CircuitBreakerBài viết kinh điển giới thiệu pattern Circuit BreakerBài viết
-
Microservices.io — Saga PatternGiải thích chính thức Saga Pattern, Choreography vs OrchestrationBài viết
-
AWS — Dead-Letter QueuesGiải thích chính thức về Dead-letter QueueDocs
✅ Tự đánh giá hoàn thành
- Triển khai retry với exponential backoff và jitter, chỉ retry đúng loại lỗi tạm thời
- Triển khai Circuit Breaker hoạt động đúng qua đủ 3 trạng thái Closed/Open/Half-Open
- Thiết kế được Saga đầy đủ compensating transaction cho 1 nghiệp vụ xuyên 3 service
- Giải thích được vai trò Dead-letter Queue và cách nó ngăn head-of-line blocking