System Architecture for Senior Engineers
Trang chủ / Module 9
🛡️ Module 9 / 15 · 1 tuần

Resilience & Fault Tolerance

Circuit Breaker, Retry với Exponential Backoff, Bulkhead pattern, và Chaos Engineering để chủ động tìm điểm yếu.

Circuit BreakerChaos Engineering
📌 Vì sao module này quan trọng

Trong hệ phân tán, lỗi không phải là "nếu" mà là "khi nào" — network sẽ timeout, service phụ thuộc sẽ đôi lúc chậm/chết, disk sẽ đầy. Kiến trúc sư giỏi không thiết kế hệ thống "không bao giờ lỗi" (bất khả thi) mà thiết kế hệ thống chịu được lỗi một cách graceful — lỗi cục bộ không lan thành sự cố toàn hệ thống.

🎯 Mục tiêu học tập

  • Triển khai Circuit Breaker để ngăn lỗi lan truyền (cascading failure)
  • Áp dụng Retry với Exponential Backoff và Jitter đúng cách
  • Sử dụng Bulkhead pattern để cô lập tài nguyên, ngăn 1 phần hệ thống làm cạn kiệt tài nguyên chung
  • Hiểu nguyên lý Chaos Engineering — chủ động gây lỗi để tìm điểm yếu trước khi nó tự xảy ra

Circuit Breaker — ngăn Cascading Failure

Khi Service A gọi Service B đang gặp sự cố (chậm hoặc lỗi liên tục), nếu A cứ tiếp tục gọi và chờ timeout mỗi lần, tài nguyên của A (thread, connection) dần cạn kiệt theo — A cũng sập theo B dù bản thân A không có lỗi gì (cascading failure). Circuit Breaker hoạt động như cầu dao điện: theo dõi tỉ lệ lỗi của lời gọi đến B, khi vượt ngưỡng thì "mở mạch" (Open) — từ chối gọi B ngay lập tức (fail fast) thay vì chờ timeout, cho B thời gian hồi phục; sau một khoảng thời gian, thử "nửa mở" (Half-Open) — cho một số ít request thử lại, nếu thành công thì "đóng mạch" (Closed) trở lại bình thường.

# Trạng thái Circuit Breaker (khái niệm, không phụ thuộc thư viện cụ thể)
# CLOSED (bình thường) --[tỉ lệ lỗi vượt ngưỡng]--> OPEN (từ chối ngay, fail fast)
# OPEN --[hết thời gian chờ]--> HALF_OPEN (thử một ít request)
# HALF_OPEN --[thành công]--> CLOSED
# HALF_OPEN --[vẫn lỗi]--> OPEN (quay lại chờ)

Retry với Exponential Backoff & Jitter

Retry ngay lập tức khi lỗi (đặc biệt hàng loạt client cùng retry cùng lúc) có thể làm tình hình tệ hơn — tạo ra "thundering herd" dồn dập request vào đúng lúc service đang cố hồi phục. Exponential Backoff tăng dần thời gian chờ giữa các lần retry (1s → 2s → 4s → 8s...), và Jitter (thêm độ ngẫu nhiên nhỏ vào thời gian chờ) tránh nhiều client đồng loạt retry cùng 1 thời điểm:

import random

def retry_delay(attempt: int, base: float = 1.0, max_delay: float = 30.0) -> float:
    delay = min(base * (2 ** attempt), max_delay)
    jitter = random.uniform(0, delay * 0.3)
    return delay + jitter

Nguyên tắc quan trọng không kém: luôn đặt số lần retry tối đa và kết hợp với Circuit Breaker — retry vô hạn vào 1 service đã "mở mạch" là vô nghĩa và lãng phí tài nguyên.

Bulkhead Pattern — cô lập tài nguyên

Lấy cảm hứng từ vách ngăn khoang tàu thuỷ (1 khoang bị thủng không làm chìm cả tàu) — Bulkhead pattern chia tài nguyên (connection pool, thread pool) thành các nhóm riêng biệt cho từng loại công việc/dependency, thay vì dùng chung 1 pool cho tất cả. Ví dụ: connection pool gọi Service B (không quan trọng) tách riêng khỏi connection pool gọi Service C (quan trọng, ảnh hưởng doanh thu trực tiếp) — dù Service B chậm/lỗi làm cạn pool của nó, connection gọi Service C vẫn còn sẵn để hoạt động bình thường.

Chaos Engineering — chủ động tìm điểm yếu

Thay vì chờ sự cố tự xảy ra ở thời điểm tệ nhất (production, giờ cao điểm), Chaos Engineering chủ động gây lỗi có kiểm soát trong môi trường thử nghiệm (dần dần tiến tới cả production ở tổ chức đủ trưởng thành) để phát hiện điểm yếu trước: tắt ngẫu nhiên 1 Pod (liên hệ khoá DevOps Module 6), giả lập độ trễ mạng cao, giả lập disk đầy — quan sát hệ thống có phản ứng đúng như thiết kế (Circuit Breaker có mở đúng lúc không, alert có kích hoạt không — khoá DevOps Module 7) hay không.

Đây chính là khái niệm "Game Day" đã nhắc đến ở dự án capstone khoá DevOps Engineering (Module 13) — Chaos Engineering là nền tảng lý thuyết đứng sau thực hành đó, phổ biến bởi công cụ Chaos Monkey của Netflix.

🏋️ Bài tập thực hành

Thiết kế Resilience cho luồng Checkout

Với luồng Saga đã thiết kế ở Module 8 (Order → Payment → Shipping), xác định: service nào nên có Circuit Breaker khi gọi service khác, thiết lập ngưỡng lỗi hợp lý để mở mạch. Thiết kế retry policy (số lần, backoff) cho 1 lời gọi cụ thể trong luồng. Đề xuất 1 kịch bản Chaos Engineering đơn giản để test khả năng chịu lỗi của luồng này (ví dụ: giả lập Payment Service chậm 5 giây, quan sát hệ thống phản ứng thế nào).

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Giải thích được 3 trạng thái của Circuit Breaker và khi nào chuyển đổi
  • Triển khai đúng Exponential Backoff kèm Jitter cho retry logic
  • Áp dụng được Bulkhead pattern để cô lập tài nguyên quan trọng
  • Thiết kế được 1 kịch bản Chaos Engineering đơn giản cho hệ thống thật