Chaos Engineering & Resilience Testing
Chủ động phá hệ thống có kiểm soát để tìm điểm yếu trước khi nó tự hỏng ở production — nội công cao cấp nhất của QA hiện đại.
Đây là ranh giới nơi QA và SRE/DevOps giao thoa — thay vì chỉ hỏi "hệ thống có hoạt động đúng không", Chaos Engineering hỏi "hệ thống có chịu được lỗi không". Rất ít QA được đào tạo về kỹ thuật này dù nó trực tiếp áp dụng lại toàn bộ tư duy Resilience đã học ở khoá System Architecture (Module 9).
🎯 Mục tiêu học tập
- Áp dụng nguyên lý Chaos Engineering: giả thuyết, thí nghiệm có kiểm soát, blast radius hạn chế
- Thiết kế và chạy 1 thí nghiệm chaos cơ bản (network latency, service failure)
- Tổ chức 1 "Game Day" — buổi diễn tập sự cố có kế hoạch cho cả team
- Nhận diện đúng điều kiện tiên quyết trước khi áp dụng Chaos Engineering (không phải hệ thống nào cũng sẵn sàng)
Nguyên lý Chaos Engineering
Không phải "phá hệ thống ngẫu nhiên cho vui" — Chaos Engineering là quy trình khoa học có cấu trúc:
- Định nghĩa "trạng thái ổn định" (steady state): 1 chỉ số đo lường được thể hiện hệ thống đang hoạt động bình thường (ví dụ: tỉ lệ lỗi < 0.1%, latency P95 < 300ms).
- Đặt giả thuyết: "nếu Service X bị chậm 5 giây, hệ thống vẫn giữ được steady state nhờ Circuit Breaker đã cấu hình" (liên hệ trực tiếp khoá System Architecture, Module 9).
- Giới hạn Blast Radius: chạy thí nghiệm ở phạm vi nhỏ nhất có thể trước (1 vài request, 1 vài user nội bộ) — không bao giờ bắt đầu bằng thí nghiệm ảnh hưởng 100% traffic production ngay từ lần đầu.
- Thực thi & Quan sát: chủ động gây ra sự cố đã định nghĩa, theo dõi chỉ số steady state có bị vi phạm không.
- Học hỏi & Cải thiện: nếu giả thuyết sai (hệ thống KHÔNG chịu được như kỳ vọng), đây chính xác là giá trị lớn nhất — phát hiện điểm yếu trong môi trường có kiểm soát, không phải lúc 3h sáng khi sự cố thật xảy ra.
Thí nghiệm Chaos Cơ bản
# Toxiproxy — giả lập lỗi mạng có kiểm soát (latency, timeout, connection reset)
toxiproxy-cli toxic add my_service_proxy \
--type latency --attributes latency=3000 --toxicity 0.5
# 50% request qua proxy này bị delay thêm 3 giây — quan sát hệ thống có timeout/retry đúng cách không
# Chaos Mesh / Chaos Monkey (Kubernetes) — kill ngẫu nhiên 1 Pod, quan sát hệ thống tự phục hồi
kubectl apply -f pod-kill-experiment.yaml
Các loại thí nghiệm phổ biến: Network Chaos (delay, packet loss, đứt kết nối — test Circuit Breaker/Retry đã học ở khoá Architecture Module 9), Resource Chaos (giới hạn CPU/memory đột ngột), và State Chaos (kill process/Pod đột ngột — test khả năng tự phục hồi của Kubernetes/systemd đã học ở khoá DevOps/Ubuntu).
Tổ chức 1 "Game Day"
Game Day là buổi diễn tập sự cố có kế hoạch, quy tụ nhiều vai trò (Dev, QA, DevOps/SRE) cùng tham gia — không chỉ chạy 1 script chaos tự động rồi xem kết quả, mà còn đánh giá phản ứng của con người: alert có kích hoạt đúng không (liên hệ Observability, khoá DevOps Module 7), runbook có đủ rõ ràng để người trực xử lý đúng không, thời gian phát hiện và khôi phục (MTTD/MTTR) là bao lâu.
Quy trình chuẩn: chọn 1 kịch bản cụ thể (ví dụ "Database chính bị down 10 phút") → thông báo trước cho team liên quan (không làm "bất ngờ" hoàn toàn với hệ thống production thật ở giai đoạn mới bắt đầu thực hành) → thực thi → toàn team cùng quan sát/ứng phó → viết Postmortem (đã học ở khoá DevOps, Module 11) dù không có sự cố thật xảy ra — ghi lại bài học và action item cụ thể.
Điều kiện Tiên quyết — Không phải Hệ thống nào cũng Sẵn sàng
Cần có trước khi bắt đầu: Observability đầy đủ (không thể đánh giá "hệ thống chịu được không" nếu không đo lường được gì), quy trình rollback/khôi phục nhanh (nếu thí nghiệm gây hậu quả ngoài dự kiến), và sự đồng thuận của toàn team (không tự ý chạy chaos experiment một mình trên production mà không ai biết). Với hệ thống còn non trẻ, thiếu observability cơ bản — nên đầu tư vào đó trước, Chaos Engineering là bước nâng cao dành cho hệ thống đã đủ trưởng thành.
🏋️ Bài tập thực hành
Chọn 1 dependency trong hệ thống của bạn (ví dụ gọi đến 1 service/API bên ngoài). Định nghĩa steady state (1 chỉ số cụ thể đo được). Đặt giả thuyết về khả năng chịu lỗi. Dùng Toxiproxy hoặc mock đơn giản giả lập dependency đó bị chậm/lỗi trong môi trường test (KHÔNG chạy trên production thật nếu chưa đủ kinh nghiệm). Quan sát và ghi lại: giả thuyết đúng hay sai, và nếu sai thì cần cải thiện gì.
📚 Tài nguyên học tập
-
Principles of Chaos EngineeringTrang chính thức nêu nguyên lý Chaos Engineering, đã tham chiếu ở khoá ArchitectureGuide
-
Toxiproxy — Official documentationCông cụ giả lập lỗi mạng có kiểm soát, phổ biến cho testingRepo
-
Chaos Mesh — Official documentationNền tảng Chaos Engineering cho KubernetesDocs
✅ Tự đánh giá hoàn thành
- Áp dụng đúng quy trình 5 bước của Chaos Engineering, không phá hệ thống tuỳ tiện
- Chạy được ít nhất 1 thí nghiệm chaos cơ bản trong môi trường có kiểm soát
- Hiểu cách tổ chức 1 Game Day và giá trị của việc đánh giá cả phản ứng con người
- Nhận diện đúng điều kiện tiên quyết trước khi áp dụng Chaos Engineering cho 1 hệ thống