Nền tảng hệ phân tán
Lỗi một phần và các ngộ nhận về mạng, đồng thuận Raft, đồng hồ và thứ tự sự kiện, các mô hình nhất quán, quorum kiểu Dynamo, exactly-once, leader election và fencing, CRDT, phát hiện lỗi, backpressure và lý thuyết hàng đợi.
Các câu hỏi kiến trúc nâng cao đều quy về vài sự thật của hệ phân tán: mạng không tin cậy, đồng hồ không đồng bộ, và một thành phần có thể chậm/chết mà bạn không phân biệt được. Người phỏng vấn cấp staff dùng những câu này để xem bạn có lập luận chặt chẽ về các trường hợp lỗi, hay chỉ ghép các hộp công nghệ trên sơ đồ.
📋 Danh sách câu hỏi
- 51'Partial failure' là gì? Vì sao khi một request tới service khác bị timeout, bạn không biết nó đã được thực hiện hay chưa?●●●○ Khó
- 52Giải thích thuật toán đồng thuận Raft: bầu leader, sao chép log, và vì sao cluster thường có số node lẻ.●●●● Cực khó
- 53Vì sao không thể dựa vào đồng hồ hệ thống để sắp thứ tự sự kiện giữa các máy? Lamport clock, vector clock và Hybrid Logical Clock giải quyết gì?●●●● Cực khó
- 54Phân biệt linearizability, serializability, sequential consistency, causal consistency và eventual consistency.●●●● Cực khó
- 55Trong replication không leader kiểu Dynamo (Cassandra, Riak), N, R, W là gì? Vì sao R + W > N vẫn chưa đảm bảo nhất quán mạnh?●●●● Cực khó
- 56'Exactly-once delivery' có tồn tại không? Kafka nói có exactly-once semantics — điều đó nghĩa là gì?●●●● Cực khó
- 57Bầu leader (leader election) dựa trên lease hoạt động thế nào? Vì sao một leader 'tưởng mình còn là leader' vẫn nguy hiểm, và fencing token giải quyết ra sao?●●●● Cực khó
- 58CRDT là gì? Khi nào dùng CRDT thay vì giải xung đột bằng server trung tâm?●●●● Cực khó
- 59Hệ phân tán phát hiện một node đã chết thế nào? Heartbeat, gossip và phi accrual failure detector là gì?●●●○ Khó
- 60Vì sao hệ thống chạy ở 90% tải lại chậm hơn rất nhiều so với 70%? Backpressure và load shedding giúp gì?●●●● Cực khó
Xem câu trả lời & giải thích
Trong hệ phân tán, một phần có thể hỏng trong khi phần khác vẫn chạy, và bạn chỉ quan sát được qua tin nhắn mạng. Timeout có thể do: request chưa tới nơi, service đang xử lý chậm, đã xử lý xong nhưng response bị mất, hoặc service chết giữa chừng — từ phía người gọi không phân biệt được. Vì vậy mọi thao tác có hậu quả phải idempotent để retry an toàn, và cần cơ chế hỏi lại trạng thái/đối soát.
8 ngộ nhận về tính toán phân tán (Peter Deutsch và cộng sự): mạng tin cậy; độ trễ bằng 0; băng thông vô hạn; mạng an toàn; topology không đổi; có một quản trị viên; chi phí truyền tải bằng 0; mạng đồng nhất.
- Không có timeout "đúng": quá ngắn → retry thừa (tăng tải lúc service đang yếu); quá dài → giữ tài nguyên, người dùng chờ.
- Gray failure: thành phần không chết hẳn mà chậm/lỗi một phần — khó phát hiện hơn crash.
- Mô hình hệ thống: đồng bộ (giới hạn độ trễ biết trước) vs bất đồng bộ — thực tế là "partially synchronous".
- Thiết kế API ghi nhận idempotency key; phía gọi lưu trạng thái "chưa rõ" và đối soát thay vì giả định thất bại.
- Deadline lan truyền (deadline propagation): request còn 300ms thì service con không nên đặt timeout 5s.
- Viết test lỗi: chaos/fault injection (độ trễ, mất gói, response lỗi) ở staging.
Câu hỏi nối tiếp: "Gọi API chuyển tiền của ngân hàng đối tác bị timeout. Bạn hiển thị gì cho người dùng?" → Không báo thất bại. Trạng thái "đang xử lý", hỏi lại trạng thái bằng mã giao dịch/idempotency key theo lịch, thông báo khi có kết quả; job đối soát cuối ngày.
Coi timeout là thất bại chắc chắn rồi retry thao tác không idempotent.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Raft chia thời gian thành các term; mỗi term có tối đa một leader. Follower không nhận heartbeat trong timeout (ngẫu nhiên) sẽ thành candidate, tăng term và xin phiếu; ai được đa số phiếu thành leader. Leader nhận lệnh từ client, ghi vào log, gửi cho follower; một entry được commit khi đa số node đã lưu nó, rồi mới áp vào state machine. Cần đa số (quorum) cho mọi quyết định nên cluster 2f+1 node chịu được f node lỗi: 3 node chịu 1, 5 node chịu 2; thêm node thứ 4 không tăng khả năng chịu lỗi mà còn tăng chi phí quorum.
- An toàn bầu cử: node chỉ bỏ phiếu cho candidate có log ít nhất mới bằng mình → leader mới luôn chứa mọi entry đã commit.
- Timeout bầu cử ngẫu nhiên (ví dụ 150-300ms) giảm khả năng chia phiếu.
- Leader bị cô lập ở phía thiểu số không commit được gì (không đủ đa số) → không có split brain về dữ liệu đã commit.
- Đọc nhất quán mạnh từ leader cần xác nhận mình vẫn là leader (read index hoặc lease có giả định về đồng hồ).
- Raft dùng trong etcd, Consul, CockroachDB, TiKV, Kafka KRaft, RabbitMQ quorum queues. Paxos tương đương về lý thuyết nhưng khó hiểu và cài đặt hơn.
- Phân bổ 3 hoặc 5 node qua 3 availability zone: mất một zone vẫn còn đa số.
- Độ trễ commit = độ trễ tới node nhanh thứ (đa số) — đặt node liên region làm tăng độ trễ mọi ghi.
- Ứng dụng thường không tự cài Raft mà dựa vào etcd/Consul/ZooKeeper cho leader election, cấu hình, service discovery.
Câu hỏi nối tiếp: "Cluster etcd 3 node, 2 node cùng zone bị mất." → Mất quorum: cluster ngừng nhận ghi (Kubernetes control plane không thay đổi được gì) cho tới khi khôi phục. Bài học: phân bổ node qua zone.
Nghĩ 4 node chịu lỗi tốt hơn 3; nhầm Raft với replication bất đồng bộ.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Đồng hồ vật lý giữa các máy lệch nhau (vài ms tới hàng trăm ms, có thể nhảy lùi khi NTP chỉnh), nên 'last write wins theo timestamp' có thể chọn sai bản ghi và làm mất dữ liệu. Lamport clock: bộ đếm logic, đảm bảo nếu A gây ra B thì ts(A) < ts(B), nhưng không phát hiện được hai sự kiện đồng thời. Vector clock: mỗi node một bộ đếm → phát hiện được đồng thời/xung đột, nhưng kích thước tăng theo số node. HLC: kết hợp thời gian vật lý và bộ đếm logic → gần thời gian thực mà vẫn tôn trọng nhân quả, kích thước cố định (dùng trong CockroachDB, YugabyteDB).
- Lamport: mỗi sự kiện cục bộ tăng bộ đếm; gửi tin kèm bộ đếm; nhận thì đặt
max(local, received) + 1. - Vector clock: so sánh từng thành phần — nếu không bên nào ≥ bên kia ở mọi thành phần thì hai sự kiện đồng thời → cần giải xung đột (Dynamo gốc trả cả hai phiên bản về client).
- Đồng hồ đơn điệu (
performance.now(),process.hrtime) dùng để đo khoảng thời gian; đồng hồ thực (Date.now()) có thể nhảy. - Spanner TrueTime trả về khoảng [earliest, latest] và chờ hết khoảng bất định khi commit để đảm bảo thứ tự toàn cục.
- Thứ tự trong một thực thể: dùng version/sequence tăng dần do một nơi duy nhất cấp (DB, leader của partition), không dùng timestamp của client.
- Đo độ trễ, timeout, rate limit bằng đồng hồ đơn điệu.
- Log phân tán: sắp theo timestamp chỉ là gần đúng; dùng trace/span parent để biết nhân quả.
Câu hỏi nối tiếp: "Ứng dụng đồng bộ offline dùng LWW theo thời gian thiết bị, người dùng chỉnh giờ điện thoại." → Dữ liệu mới bị bản cũ ghi đè. Dùng version do server cấp, HLC, hoặc CRDT cho dữ liệu cộng tác.
Tin rằng NTP làm đồng hồ đủ chính xác để sắp thứ tự ghi đồng thời.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Linearizability (nhất quán mạnh): mỗi thao tác trên một đối tượng như xảy ra tức thời tại một điểm giữa lúc gọi và lúc trả về; mọi người đọc thấy giá trị mới nhất. Serializability: kết quả nhiều transaction trên nhiều đối tượng tương đương một thứ tự tuần tự nào đó (không nhất thiết theo thời gian thực). Kết hợp cả hai là strict serializability. Sequential: mọi node thấy cùng một thứ tự, khớp thứ tự của từng client nhưng không cần theo thời gian thực. Causal: chỉ các thao tác có quan hệ nhân quả phải được thấy đúng thứ tự. Eventual: nếu ngừng ghi, các bản sao sẽ hội tụ.
| Mô hình | Ví dụ đảm bảo | Chi phí |
|---|---|---|
| Linearizable | Khoá phân tán, leader election, số dư không âm, username duy nhất | Cần đồng thuận/quorum; không sẵn sàng khi phân mảnh (CAP) |
| Causal | Câu trả lời không xuất hiện trước câu hỏi; bình luận sau bài viết | Có thể giữ sẵn sàng khi phân mảnh |
| Read-your-writes, monotonic reads | Người dùng thấy thay đổi của mình, không thấy dữ liệu đi lùi | Phiên gắn với replica/LSN |
| Eventual | Số lượt thích, DNS, cache CDN | Rẻ nhất, độ trễ thấp |
- Chọn mô hình theo từng tính năng: hệ thống không có một mức nhất quán duy nhất.
- Đọc kỹ tài liệu đảm bảo của dịch vụ (Redis replication async, DynamoDB eventually vs strongly consistent read, S3 nay nhất quán mạnh cho đọc-sau-ghi).
- Jepsen là nguồn tham khảo tốt về việc database có thực sự đáp ứng đảm bảo nó quảng cáo.
Câu hỏi nối tiếp: "Hệ thống của bạn có cần linearizability cho giỏ hàng không?" → Thường không: giỏ hàng chịu được nhất quán cuối cùng (gộp hai giỏ khi xung đột như Amazon Dynamo). Nhưng bước trừ tồn kho/thanh toán thì cần nhất quán mạnh.
Dùng linearizable và serializable như từ đồng nghĩa.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Mỗi khoá được sao chép lên N node; ghi thành công khi W node xác nhận; đọc hỏi R node và lấy phiên bản mới nhất. Khi R + W > N, tập đọc và tập ghi luôn giao nhau ít nhất một node nên thường đọc được giá trị mới nhất. Nhưng vẫn có ngoại lệ: sloppy quorum + hinted handoff (ghi vào node tạm ngoài N khi node chính chết), ghi đồng thời giải bằng LWW theo đồng hồ lệch, ghi thất bại một phần nhưng không rollback ở node đã nhận, node khôi phục từ bản cũ → không đạt linearizability.
- Ví dụ phổ biến: N=3, W=2, R=2 (QUORUM). W=1/R=1 nhanh nhất nhưng dễ đọc dữ liệu cũ.
- Cơ chế hội tụ: read repair (khi đọc phát hiện bản cũ thì sửa), anti-entropy nền bằng Merkle tree so sánh dữ liệu giữa replica.
- Cassandra cung cấp lightweight transactions (Paxos) cho các thao tác cần compare-and-set — chậm hơn nhiều.
- Multi-datacenter:
LOCAL_QUORUMđể không phải chờ datacenter xa.
- Chọn mức nhất quán theo từng truy vấn: ghi sự kiện với ONE/LOCAL_ONE, đọc hồ sơ thanh toán với LOCAL_QUORUM.
- Thiết kế dữ liệu để xung đột vô hại: ghi bất biến (append event) thay vì cập nhật tại chỗ.
Câu hỏi nối tiếp: "Đặt chỗ trên Cassandra với QUORUM có chống đặt trùng không?" → Không: hai người đọc cùng thấy trống rồi cùng ghi.
Cần lightweight transaction (IF NOT EXISTS) hoặc đặt nghiệp vụ đó trên database có transaction.
Nói R + W > N là 'nhất quán mạnh tuyệt đối'.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Giao tin nhắn đúng một lần qua mạng không đáng tin là bất khả thi nói chung; điều đạt được là xử lý có hiệu ứng đúng một lần (effectively-once) = giao ít nhất một lần + xử lý idempotent/khử trùng. Kafka EOS gồm: idempotent producer (khử trùng retry của producer theo producer id + sequence trong partition) và transactions (ghi vào nhiều partition và commit offset của consumer nguyên tử) — đảm bảo exactly-once cho luồng đọc từ Kafka → xử lý → ghi vào Kafka. Khi side effect ra ngoài Kafka (ghi DB, gọi API, gửi email), bạn vẫn phải tự làm idempotent.
- Consumer đọc với
isolation.level=read_committedđể không thấy bản ghi của transaction bị huỷ. - Ghi kết quả ra DB: lưu offset đã xử lý cùng transaction với kết quả trong DB (tự quản lý offset), hoặc upsert theo khoá tự nhiên.
- Kafka Streams/Flink dùng checkpoint + transactional sink để đạt exactly-once end-to-end với các sink hỗ trợ.
- Mỗi sự kiện mang
event_idduy nhất; consumer lưu id đã xử lý (inbox) hoặc thao tác tự nhiên idempotent (SET thay vì INCREMENT). - Đừng hứa "exactly-once" với stakeholder; nói "không mất và không có hiệu ứng trùng".
Câu hỏi nối tiếp: "Consumer cộng điểm thưởng bị cộng hai lần sau rebalance." → Xử lý xong nhưng chưa commit offset trước khi partition bị chuyển. Lưu (event_id) đã xử lý cùng transaction cộng điểm, hoặc commit offset trong cùng transaction DB.
Bật enable.idempotence rồi tin rằng mọi side effect đều exactly-once.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Node giành một lease có thời hạn trong hệ thống đồng thuận (etcd, ZooKeeper, Consul, hoặc DB) và phải gia hạn định kỳ; hết hạn thì node khác giành. Nguy hiểm: leader cũ bị GC pause/treo mạng 20 giây — lease đã hết và leader mới được bầu, nhưng leader cũ tỉnh lại và vẫn ghi vì chưa biết mình mất quyền. Fencing token: mỗi lần cấp lease kèm số tăng dần; tài nguyên đích (storage, DB) ghi nhớ token lớn nhất đã thấy và từ chối mọi ghi có token nhỏ hơn.
- Lease dựa vào giả định đồng hồ trôi với tốc độ gần giống nhau giữa các máy (không cần đồng bộ thời điểm tuyệt đối).
- ZooKeeper: ephemeral sequential node — zxid/version có thể dùng làm fencing token; etcd: revision của key lease.
- Fencing chỉ hiệu quả khi tài nguyên đích kiểm tra token (ví dụ
UPDATE ... WHERE fencing_token < $new). - Kubernetes: thư viện leader election dùng Lease object; controller chỉ một bản hoạt động.
- Ưu tiên kiến trúc không cần leader duy nhất (phân vùng công việc, idempotency) — đơn giản và bền hơn.
- Khi cần leader (scheduler, compaction, gửi báo cáo), kết hợp lease + fencing + idempotent.
Câu hỏi nối tiếp: "Hai bản scheduler cùng gửi hoá đơn sau khi một pod bị treo rồi tỉnh lại." → Không có fencing. Thêm token vào bảng trạng thái chu kỳ billing; ghi kèm điều kiện token, và gửi hoá đơn idempotent theo (customer, kỳ).
Tin rằng lease hết hạn là leader cũ chắc chắn đã dừng.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
CRDT (Conflict-free Replicated Data Type) là cấu trúc dữ liệu mà các bản sao có thể cập nhật độc lập, không phối hợp, và khi trao đổi trạng thái/thao tác sẽ tự hội tụ về cùng kết quả bất kể thứ tự nhận — nhờ phép gộp có tính giao hoán, kết hợp, luỹ đẳng. Dùng cho: chỉnh sửa cộng tác thời gian thực, ứng dụng offline-first, đồng bộ đa thiết bị, active-active đa region cho dữ liệu chịu được ngữ nghĩa gộp tự động.
| CRDT | Ngữ nghĩa |
|---|---|
| G-Counter / PN-Counter | Mỗi node một bộ đếm riêng, tổng = cộng tất cả (lượt like) |
| LWW-Register | Giá trị có timestamp lớn nhất thắng |
| OR-Set | Tập hợp thêm/xoá, phân biệt các lần thêm bằng tag duy nhất |
| Sequence CRDT (RGA, YATA) | Văn bản cộng tác — Yjs, Automerge |
- So với OT (Operational Transformation của Google Docs): OT cần server trung tâm biến đổi thao tác; CRDT không bắt buộc server.
- Hạn chế: metadata (tombstone) tăng theo lịch sử; không biểu diễn được ràng buộc toàn cục (số dư ≥ 0, tồn kho) — những thứ đó vẫn cần phối hợp.
- Editor cộng tác trong sản phẩm: dùng Yjs/Automerge + provider (WebSocket, Liveblocks, Hocuspocus) thay vì tự viết thuật toán.
- Lưu snapshot định kỳ và nén lịch sử để tài liệu lớn không phình mãi.
- Phân quyền vẫn ở server: CRDT không ngăn người không có quyền gửi thao tác.
Câu hỏi nối tiếp: "Dùng CRDT cho số lượng tồn kho ở nhiều region được không?" → Counter CRDT hội tụ nhưng không ngăn bán âm (hai region cùng trừ món cuối cùng). Chia hạn mức trước cho mỗi region (escrow) hoặc đặt quyết định trừ kho ở một nơi nhất quán mạnh.
Nghĩ CRDT giải được mọi bài toán nhất quán.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Không thể phân biệt chắc chắn node chết hay chỉ chậm, nên phát hiện lỗi luôn là ước đoán có đánh đổi giữa phát hiện nhanh và báo động giả. Heartbeat: node gửi tín hiệu định kỳ, quá thời hạn thì nghi ngờ. Gossip: các node trao đổi thông tin thành viên ngẫu nhiên với vài node khác → thông tin lan khắp cluster theo cấp số nhân mà không cần điều phối trung tâm (Cassandra, Consul/Serf). Phi accrual: thay vì ngưỡng cố định, tính mức độ nghi ngờ liên tục dựa trên phân bố thời gian heartbeat trong quá khứ — thích ứng với mạng dao động.
- SWIM: ping trực tiếp, không được thì nhờ vài node khác ping hộ (indirect probe) trước khi đánh dấu nghi ngờ — giảm báo động giả do một đường mạng lỗi.
- Kubernetes: liveness probe (khởi động lại container), readiness probe (gỡ khỏi load balancer), node heartbeat qua Lease; pod trên node mất liên lạc bị đánh dấu sau vài phút.
- Health check nông (process sống) khác health check sâu (kiểm tra phụ thuộc) — sâu quá dễ gây lỗi dây chuyền khi DB chậm làm mọi pod bị coi là "chết".
- Liveness không nên phụ thuộc DB/Redis; readiness có thể kiểm tra phụ thuộc thiết yếu.
- Báo động giả gây failover/restart dồn dập (flapping) → thêm hysteresis, giới hạn tần suất hành động tự động.
Tình huống: "DB chậm 10 giây, Kubernetes khởi động lại toàn bộ pod API cùng lúc, hệ thống sập hẳn." → Liveness probe kiểm tra DB. Đổi liveness thành kiểm tra tiến trình, readiness mới kiểm tra phụ thuộc, và tăng ngưỡng thất bại.
Health check sâu trong liveness; ngưỡng phát hiện quá nhạy.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Theo lý thuyết hàng đợi (M/M/1), thời gian chờ tỷ lệ với ρ/(1-ρ) (ρ = mức sử dụng): 50% → 1, 80% → 4, 90% → 9, 95% → 19 lần thời gian phục vụ — độ trễ tăng phi tuyến khi gần bão hoà, cộng với biến động tải làm hàng đợi bùng nổ. Backpressure: khi bên nhận quá tải thì báo bên gửi chậm lại (hàng đợi có giới hạn, chặn producer, flow control). Load shedding: chủ động từ chối sớm một phần request (trả 429/503 nhanh) để phục vụ tốt phần còn lại, thay vì phục vụ tệ tất cả.
- Định luật Little: L = λ × W (số request trong hệ thống = tốc độ đến × thời gian trong hệ thống).
- Hàng đợi không giới hạn = độ trễ không giới hạn + hết bộ nhớ; request chờ quá lâu có khi client đã bỏ đi (làm việc vô ích).
- Ưu tiên khi shedding: giữ lại request quan trọng (thanh toán, người dùng đã đăng nhập), bỏ request nền/bot trước; dùng hàng đợi LIFO/CoDel trong quá tải để ưu tiên request còn "tươi".
- Adaptive concurrency limit (như thuật toán của Netflix): tự điều chỉnh số request đồng thời theo độ trễ quan sát.
- Lập kế hoạch năng lực với mục tiêu sử dụng 50-70% ở đỉnh, không 90%.
- Đặt giới hạn: kích thước hàng đợi, số kết nối, concurrency mỗi worker; timeout cho request chờ trong hàng đợi.
- Client dùng retry có backoff + jitter và tôn trọng
Retry-Afterđể không khuếch đại quá tải.
Câu hỏi nối tiếp: "Sau một sự cố ngắn, hệ thống không tự hồi phục dù nguyên nhân đã hết." → Metastable failure: retry tích tụ và hàng đợi dài giữ hệ thống ở trạng thái quá tải. Cần load shedding, ngắt retry (circuit breaker), xả hàng đợi, rồi mở lại traffic dần.
Nghĩ độ trễ tăng tuyến tính theo tải; dùng hàng đợi không giới hạn.
- Tôi trả lời được câu này mà không cần xem đáp án