Distributed Systems Fundamentals
Consensus algorithms (khái niệm), Distributed Transactions (2PC vs Saga), Idempotency, và Message Queue patterns.
Đây là nền tảng lý thuyết khó nhất nhưng cũng quan trọng nhất của kiến trúc hệ thống phân tán — thiếu hiểu biết ở đây dẫn đến những lỗi tinh vi, khó tái tạo, chỉ xuất hiện ở production dưới tải thật (race condition, mất dữ liệu khi có lỗi mạng, transaction nửa vời).
🎯 Mục tiêu học tập
- Hiểu khái niệm Consensus (Raft/Paxos) ở mức đủ dùng — vì sao các hệ thống phân tán cần 'đồng thuận'
- So sánh Two-Phase Commit (2PC) và Saga pattern cho distributed transaction
- Áp dụng Idempotency đúng cách để hệ thống an toàn khi retry
- Chọn đúng Message Queue pattern (point-to-point vs pub-sub) theo nhu cầu
Consensus — vì sao hệ phân tán cần "đồng thuận"
Khi nhiều node cần thống nhất về 1 giá trị/trạng thái (ví dụ: node nào là leader, giao dịch nào được chấp nhận trước) trong điều kiện mạng không đáng tin cậy (message có thể mất, đến trễ, hoặc node có thể chết bất cứ lúc nào), cần một thuật toán consensus đảm bảo mọi node còn sống cuối cùng đồng ý cùng 1 giá trị. Raft (dễ hiểu hơn, được thiết kế ưu tiên khả năng giải thích) và Paxos (cũ hơn, phức tạp hơn nhưng nền tảng lý thuyết) là 2 thuật toán phổ biến nhất — không cần tự cài đặt chúng (hầu như không ai tự viết lại Raft), nhưng cần biết chúng là nền tảng đứng sau nhiều hệ thống bạn đã dùng: etcd (lưu trạng thái cluster Kubernetes — khoá DevOps Module 6), các hệ quản trị CSDL phân tán có tính nhất quán mạnh, Zookeeper.
Two-Phase Commit (2PC) vs Saga Pattern
2PC cố gắng đảm bảo ACID transaction xuyên nhiều node/service: giai đoạn 1 (Prepare) hỏi tất cả participant "sẵn sàng commit chưa", giai đoạn 2 (Commit) ra lệnh commit thật nếu tất cả đều sẵn sàng. Vấn đề lớn: blocking — nếu coordinator chết giữa chừng, các participant có thể bị khoá tài nguyên vô thời hạn chờ lệnh — 2PC gần như không được dùng cho microservices thực tế vì rủi ro này, kết hợp với việc đòi hỏi mọi service phải sẵn sàng ngay lập tức (giảm availability).
Saga Pattern là giải pháp thực dụng hơn cho distributed transaction giữa các Bounded Context (Module 4, 6): chia transaction lớn thành chuỗi các bước cục bộ, mỗi bước có 1 compensating action (hành động bù trừ) để hoàn tác nếu bước sau thất bại — ví dụ: "Đặt hàng" → "Trừ tồn kho" → "Thu tiền"; nếu "Thu tiền" thất bại, chạy các compensating action ngược lại ("Hoàn tồn kho", "Huỷ đơn"). Đánh đổi: hệ thống chỉ đạt Eventual Consistency trong lúc Saga đang chạy (có khoảng thời gian dữ liệu ở trạng thái trung gian), và việc viết đúng compensating action cho mọi trường hợp là công việc không hề nhỏ.
| 2PC | Saga | |
|---|---|---|
| Consistency | Strong (ACID thật) | Eventual (có compensating action) |
| Availability lúc transaction | Thấp (blocking) | Cao hơn (không khoá tài nguyên chờ) |
| Độ phức tạp triển khai | Tương đối đơn giản về khái niệm, nhưng vận hành rủi ro | Phức tạp hơn để thiết kế đúng (cần compensating action cho mọi bước) |
| Phù hợp cho microservices thực tế | Hiếm dùng | Chuẩn phổ biến |
Idempotency — an toàn khi Retry
Trong hệ phân tán, request có thể bị gửi lại (do timeout, retry tự động — liên hệ Module 9) — nếu thao tác không idempotent (thực hiện nhiều lần cho kết quả khác thực hiện 1 lần), retry có thể gây hậu quả nghiêm trọng (trừ tiền 2 lần cho 1 đơn hàng). Kỹ thuật chuẩn: Idempotency Key — client sinh 1 ID duy nhất cho mỗi thao tác logic, gửi kèm mọi lần retry; server lưu lại các key đã xử lý, nếu thấy key đã tồn tại thì trả về kết quả đã lưu thay vì thực hiện lại thao tác:
POST /payments
Idempotency-Key: 7f3a2b1c-...
# Server: nếu đã xử lý key này rồi, trả kết quả cũ, KHÔNG trừ tiền lần 2
Nguyên tắc thiết kế API tốt: mọi thao tác có tác dụng phụ quan trọng (ghi tiền, gửi email quan trọng) nên hỗ trợ idempotency key — đây là yêu cầu bắt buộc, không phải tính năng tuỳ chọn, cho bất kỳ hệ thống phân tán nào có retry (mà gần như mọi hệ thống phân tán đều cần retry để chịu lỗi mạng).
Message Queue Patterns
| Pattern | Đặc điểm | Ví dụ công nghệ |
|---|---|---|
| Point-to-Point (Queue) | 1 message được xử lý bởi đúng 1 consumer trong nhóm — dùng cho công việc cần chia tải (work queue) | SQS, RabbitMQ (queue thường) |
| Publish-Subscribe (Pub-Sub) | 1 message được gửi đến TẤT CẢ consumer đã đăng ký — dùng khi nhiều service cần biết về cùng 1 sự kiện | Kafka, SNS, RabbitMQ (exchange fanout) |
Message Queue là hạ tầng nền cho Asynchronous Communication (Module 5) và Saga pattern (phần trên) — chọn point-to-point khi công việc chỉ cần 1 nơi xử lý (ví dụ xử lý ảnh upload), chọn pub-sub khi nhiều nơi cần phản ứng độc lập với cùng 1 sự kiện (ví dụ "OrderPlaced" cần cả service Email, service Inventory, và service Analytics cùng biết).
🏋️ Bài tập thực hành
Với Context Map đã vẽ ở Module 4 (ví dụ Ordering → Payment → Shipping), thiết kế đầy đủ 1 Saga cho luồng "đặt hàng thành công": liệt kê từng bước, service nào thực hiện, và compensating action tương ứng nếu bước đó (hoặc bước sau) thất bại. Xác định rõ những API nào trong luồng này bắt buộc phải hỗ trợ idempotency key.
📚 Tài nguyên học tập
-
Raft — thesis & visualization (raft.github.io)Trực quan hoá thuật toán Raft, dễ hiểu hơn PaxosTài nguyên
-
Microsoft — Saga distributed transactions patternGiải thích chi tiết Saga pattern kèm ví dụDocs
-
Stripe — Idempotent RequestsVí dụ triển khai idempotency key thực tế từ StripeDocs
✅ Tự đánh giá hoàn thành
- Giải thích được vì sao hệ phân tán cần thuật toán consensus, nêu được 1 ví dụ hệ thống dùng nó
- So sánh được 2PC và Saga, giải thích vì sao Saga phổ biến hơn cho microservices
- Thiết kế đúng idempotency key cho 1 API có tác dụng phụ quan trọng
- Chọn đúng point-to-point hay pub-sub theo tình huống cụ thể