Resilience & Fault Tolerance
Circuit Breaker, Retry với Exponential Backoff, Bulkhead pattern, và Chaos Engineering để chủ động tìm điểm yếu.
Trong hệ phân tán, lỗi không phải là "nếu" mà là "khi nào" — network sẽ timeout, service phụ thuộc sẽ đôi lúc chậm/chết, disk sẽ đầy. Kiến trúc sư giỏi không thiết kế hệ thống "không bao giờ lỗi" (bất khả thi) mà thiết kế hệ thống chịu được lỗi một cách graceful — lỗi cục bộ không lan thành sự cố toàn hệ thống.
🎯 Mục tiêu học tập
- Triển khai Circuit Breaker để ngăn lỗi lan truyền (cascading failure)
- Áp dụng Retry với Exponential Backoff và Jitter đúng cách
- Sử dụng Bulkhead pattern để cô lập tài nguyên, ngăn 1 phần hệ thống làm cạn kiệt tài nguyên chung
- Hiểu nguyên lý Chaos Engineering — chủ động gây lỗi để tìm điểm yếu trước khi nó tự xảy ra
Circuit Breaker — ngăn Cascading Failure
Khi Service A gọi Service B đang gặp sự cố (chậm hoặc lỗi liên tục), nếu A cứ tiếp tục gọi và chờ timeout mỗi lần, tài nguyên của A (thread, connection) dần cạn kiệt theo — A cũng sập theo B dù bản thân A không có lỗi gì (cascading failure). Circuit Breaker hoạt động như cầu dao điện: theo dõi tỉ lệ lỗi của lời gọi đến B, khi vượt ngưỡng thì "mở mạch" (Open) — từ chối gọi B ngay lập tức (fail fast) thay vì chờ timeout, cho B thời gian hồi phục; sau một khoảng thời gian, thử "nửa mở" (Half-Open) — cho một số ít request thử lại, nếu thành công thì "đóng mạch" (Closed) trở lại bình thường.
# Trạng thái Circuit Breaker (khái niệm, không phụ thuộc thư viện cụ thể)
# CLOSED (bình thường) --[tỉ lệ lỗi vượt ngưỡng]--> OPEN (từ chối ngay, fail fast)
# OPEN --[hết thời gian chờ]--> HALF_OPEN (thử một ít request)
# HALF_OPEN --[thành công]--> CLOSED
# HALF_OPEN --[vẫn lỗi]--> OPEN (quay lại chờ)
Retry với Exponential Backoff & Jitter
Retry ngay lập tức khi lỗi (đặc biệt hàng loạt client cùng retry cùng lúc) có thể làm tình hình tệ hơn — tạo ra "thundering herd" dồn dập request vào đúng lúc service đang cố hồi phục. Exponential Backoff tăng dần thời gian chờ giữa các lần retry (1s → 2s → 4s → 8s...), và Jitter (thêm độ ngẫu nhiên nhỏ vào thời gian chờ) tránh nhiều client đồng loạt retry cùng 1 thời điểm:
import random
def retry_delay(attempt: int, base: float = 1.0, max_delay: float = 30.0) -> float:
delay = min(base * (2 ** attempt), max_delay)
jitter = random.uniform(0, delay * 0.3)
return delay + jitter
Nguyên tắc quan trọng không kém: luôn đặt số lần retry tối đa và kết hợp với Circuit Breaker — retry vô hạn vào 1 service đã "mở mạch" là vô nghĩa và lãng phí tài nguyên.
Bulkhead Pattern — cô lập tài nguyên
Lấy cảm hứng từ vách ngăn khoang tàu thuỷ (1 khoang bị thủng không làm chìm cả tàu) — Bulkhead pattern chia tài nguyên (connection pool, thread pool) thành các nhóm riêng biệt cho từng loại công việc/dependency, thay vì dùng chung 1 pool cho tất cả. Ví dụ: connection pool gọi Service B (không quan trọng) tách riêng khỏi connection pool gọi Service C (quan trọng, ảnh hưởng doanh thu trực tiếp) — dù Service B chậm/lỗi làm cạn pool của nó, connection gọi Service C vẫn còn sẵn để hoạt động bình thường.
Chaos Engineering — chủ động tìm điểm yếu
Thay vì chờ sự cố tự xảy ra ở thời điểm tệ nhất (production, giờ cao điểm), Chaos Engineering chủ động gây lỗi có kiểm soát trong môi trường thử nghiệm (dần dần tiến tới cả production ở tổ chức đủ trưởng thành) để phát hiện điểm yếu trước: tắt ngẫu nhiên 1 Pod (liên hệ khoá DevOps Module 6), giả lập độ trễ mạng cao, giả lập disk đầy — quan sát hệ thống có phản ứng đúng như thiết kế (Circuit Breaker có mở đúng lúc không, alert có kích hoạt không — khoá DevOps Module 7) hay không.
Đây chính là khái niệm "Game Day" đã nhắc đến ở dự án capstone khoá DevOps Engineering (Module 13) — Chaos Engineering là nền tảng lý thuyết đứng sau thực hành đó, phổ biến bởi công cụ Chaos Monkey của Netflix.
🏋️ Bài tập thực hành
Với luồng Saga đã thiết kế ở Module 8 (Order → Payment → Shipping), xác định: service nào nên có Circuit Breaker khi gọi service khác, thiết lập ngưỡng lỗi hợp lý để mở mạch. Thiết kế retry policy (số lần, backoff) cho 1 lời gọi cụ thể trong luồng. Đề xuất 1 kịch bản Chaos Engineering đơn giản để test khả năng chịu lỗi của luồng này (ví dụ: giả lập Payment Service chậm 5 giây, quan sát hệ thống phản ứng thế nào).
📚 Tài nguyên học tập
-
Martin Fowler — CircuitBreakerBài viết kinh điển giải thích Circuit BreakerBài viết
-
AWS — Exponential Backoff and JitterBài viết chính thức AWS giải thích backoff và jitterBài viết
-
Principles of Chaos EngineeringTrang chính thức nêu nguyên lý Chaos EngineeringGuide
✅ Tự đánh giá hoàn thành
- Giải thích được 3 trạng thái của Circuit Breaker và khi nào chuyển đổi
- Triển khai đúng Exponential Backoff kèm Jitter cho retry logic
- Áp dụng được Bulkhead pattern để cô lập tài nguyên quan trọng
- Thiết kế được 1 kịch bản Chaos Engineering đơn giản cho hệ thống thật