Replication, High Availability & Backup
Physical vs logical replication, sync vs async, failover và split brain, backup và PITR, khôi phục khi xoá nhầm, nâng cấp major version không downtime, CDC, multi-region, định tuyến đọc/ghi, disaster recovery.
Database là trạng thái quan trọng nhất của hệ thống — mất nó là mất công ty. Người phỏng vấn muốn thấy bạn nghĩ bằng RPO/RTO, hiểu chính xác dữ liệu có thể mất ở đâu trong từng cấu hình, và nhận thức rằng 'có backup' chỉ có nghĩa khi đã thử khôi phục thành công.
📋 Danh sách câu hỏi
- 31Physical (streaming) replication và logical replication khác nhau thế nào? Dùng mỗi loại cho việc gì?●●●○ Khó
- 32Replication đồng bộ và bất đồng bộ: dữ liệu có thể mất ở đâu? Bạn cấu hình cho hệ thống thanh toán thế nào?●●●● Cực khó
- 33Failover tự động hoạt động thế nào? Split brain là gì và ngăn chặn ra sao?●●●● Cực khó
- 34Chiến lược backup cho PostgreSQL production của bạn là gì? RPO và RTO là gì?●●●○ Khó
- 35Một kỹ sư lỡ chạy DELETE FROM orders (không có WHERE) trên production lúc 14:32. Bạn khôi phục thế nào mà không mất các đơn hàng mới sau đó?●●●● Cực khó
- 36Nâng cấp PostgreSQL từ 13 lên 17 cho database 2TB với downtime tối thiểu. Bạn lên kế hoạch thế nào?●●●● Cực khó
- 37Change Data Capture (CDC) là gì? Khi dùng Debezium đọc Postgres, những vấn đề nào cần xử lý?●●●○ Khó
- 38Bạn cần database chạy ở nhiều region (Mỹ, châu Âu, châu Á). So sánh active-passive và active-active, và những vấn đề phát sinh.●●●● Cực khó
- 39Ứng dụng tách đọc/ghi (primary + replica). Làm sao đảm bảo người dùng luôn đọc được dữ liệu vừa ghi (read-your-writes)?●●●○ Khó
- 40Bạn lập kế hoạch Disaster Recovery cho một SaaS thế nào? Nếu cả một region cloud sập thì sao?●●●○ Khó
Xem câu trả lời & giải thích
Physical: gửi WAL ở mức byte/trang, replica là bản sao y hệt toàn cluster (cùng phiên bản major, chỉ đọc) — dùng cho HA/failover và read replica. Logical: giải mã WAL thành thay đổi ở mức dòng (INSERT/UPDATE/DELETE) theo publication, áp vào bảng ở đích — có thể chọn bảng, khác phiên bản major, đích vẫn ghi được — dùng cho nâng cấp phiên bản, di chuyển dữ liệu, tích hợp, CDC.
| Physical | Logical | |
|---|---|---|
| Phạm vi | Toàn bộ cluster | Bảng chọn lọc |
| Phiên bản | Cùng major | Khác major được |
| Replica ghi được | Không | Có (cẩn thận xung đột) |
| DDL | Được sao chép | Không được sao chép — phải áp schema thủ công |
| Sequence | Có | Không (phải đồng bộ khi cutover) |
| Yêu cầu | — | Bảng cần primary key hoặc REPLICA IDENTITY |
- Managed DB (RDS, Cloud SQL, Neon...) dùng physical cho replica và standby; logical cho migrate giữa nhà cung cấp.
- Theo dõi độ trễ:
pg_stat_replication(write/flush/replay lag) ở primary; slot logical không được tiêu thụ làm giữ WAL vô hạn.
Câu hỏi nối tiếp: "Chạy truy vấn báo cáo dài trên physical replica bị huỷ với lỗi 'canceling statement due to conflict with
recovery'." → Replay WAL cần xoá dòng mà truy vấn đang đọc. Lựa chọn: tăng max_standby_streaming_delay (replica trễ hơn),
bật hot_standby_feedback (bloat ở primary), hoặc dùng logical replica/kho phân tích riêng.
Nghĩ logical replication sao chép DDL; dùng replica physical như một DB có thể ghi.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Async: primary commit xong mới gửi WAL → nếu primary chết trước khi replica nhận, các giao dịch đó mất sau failover (RPO > 0), đổi lại ghi nhanh. Sync: commit chỉ trả về khi ít nhất một replica xác nhận đã ghi WAL bền vững → RPO ≈ 0, nhưng mỗi commit cộng thêm độ trễ mạng và nếu replica đồng bộ chết thì ghi bị treo — vì vậy dùng quorum (ví dụ 1 trong 2 replica) để vẫn sẵn sàng.
# postgresql.conf trên primary
synchronous_standby_names = 'ANY 1 (replica_a, replica_b)' # quorum: chỉ cần 1 trong 2 xác nhận
synchronous_commit = on # chờ replica flush WAL xuống đĩa
# remote_apply: chờ replica đã áp dụng → đọc từ replica ngay sau commit thấy dữ liệu (read-your-writes)
# remote_write: chờ replica nhận vào bộ nhớ OS (nhanh hơn, ít an toàn hơn)
synchronous_commitcó thể đặt theo transaction: giao dịch tiền dùng sync, log/analytics dùng async/local.- Replica đồng bộ nên cùng region khác zone (độ trễ vài ms); replica khác region thường async.
- Cloud managed: Multi-AZ của RDS là standby đồng bộ ở mức lưu trữ; Aurora ghi 6 bản qua 3 AZ với quorum 4/6 — biết cơ chế của nền tảng bạn dùng.
- Đo độ trễ commit p99 trước/sau khi bật sync; ghi rõ RPO trong tài liệu kiến trúc.
Câu hỏi nối tiếp: "Failover async xong, khách báo giao dịch thanh toán 'đã thành công' biến mất." → Đó chính là RPO > 0. Cần sync cho dữ liệu tiền, và đối soát với nhà cung cấp thanh toán để khôi phục các giao dịch bị mất trong cửa sổ đó.
Nghĩ có replica là không mất dữ liệu; bật sync với một replica duy nhất rồi bị treo ghi khi replica chết.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Một hệ thống quản lý (Patroni + etcd/Consul, hoặc dịch vụ managed) theo dõi primary; khi primary mất liên lạc, nó bầu replica ít trễ nhất làm primary mới và chuyển hướng kết nối (DNS/VIP/proxy). Split brain: primary cũ không chết mà chỉ bị cô lập mạng, vẫn nhận ghi trong khi primary mới cũng nhận ghi → hai lịch sử dữ liệu phân kỳ. Ngăn chặn: quyết định dựa trên đồng thuận đa số (DCS), primary tự hạ cấp khi mất quorum/lease, fencing (STONITH, thu hồi quyền ghi, chặn mạng) primary cũ.
- Patroni: mỗi node giữ "leader key" trong etcd với TTL; primary phải gia hạn lease, mất lease thì tự chuyển sang read-only.
- Ngưỡng phát hiện lỗi là đánh đổi: quá nhạy → failover giả do mạng chập chờn; quá chậm → downtime dài.
- Sau failover, primary cũ phải được đồng bộ lại (
pg_rewind) trước khi làm replica. - Kết nối ứng dụng: dùng endpoint ổn định (proxy như HAProxy/PgBouncer, hoặc DNS của managed DB với TTL thấp); driver hỗ trợ
target_session_attrs=read-write.
- Ứng dụng phải chịu được failover: retry kết nối, xử lý lỗi giao dịch đang dở, không cache DNS mãi mãi (JVM, một số pool).
- Diễn tập failover định kỳ trên staging và production (giờ thấp điểm) — đo thời gian gián đoạn thực tế.
Câu hỏi nối tiếp: "Sau failover, một số pod ứng dụng vẫn ghi vào primary cũ (giờ là replica) và lỗi 'read-only transaction' hàng loạt." → Pool giữ connection cũ/DNS cache. Cấu hình pool kiểm tra connection, TTL DNS ngắn, và ứng dụng reconnect khi gặp lỗi read-only.
Failover bằng script đơn giản 'ping không được thì promote' — công thức tạo split brain.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
RPO (Recovery Point Objective): tối đa bao nhiêu dữ liệu được phép mất. RTO (Recovery Time Objective): tối đa bao lâu để khôi phục. Chiến lược chuẩn: base backup vật lý định kỳ + lưu trữ WAL liên tục (pgBackRest, WAL-G, hoặc tính năng managed) → cho phép PITR tới bất kỳ thời điểm nào; lưu ở vị trí/tài khoản/region khác, mã hoá, bất biến (immutable) chống ransomware; pg_dump logic bổ sung cho bảng/schema nhỏ; và thử khôi phục tự động định kỳ.
| Loại | Ưu | Nhược |
|---|---|---|
| pg_dump (logic) | Di động giữa phiên bản, khôi phục từng bảng | Chậm với DB lớn, chỉ là ảnh chụp một thời điểm |
| Base backup + WAL archive | PITR, nhanh với DB lớn, RPO vài giây-phút | Cùng major version, cần công cụ |
| Snapshot đĩa/cloud | Rất nhanh | Phải nhất quán (kết hợp WAL), phụ thuộc nhà cung cấp |
Replica không phải backup: lệnh DROP TABLE hay dữ liệu hỏng được sao chép sang replica ngay lập tức.
- Kiểm thử khôi phục hằng tuần/tháng bằng job tự động: dựng instance từ backup, chạy kiểm tra (số dòng, checksum, truy vấn mẫu), đo thời gian → đó là RTO thật.
- Quy tắc 3-2-1: 3 bản, 2 loại lưu trữ, 1 bản ngoài site; tài khoản backup tách quyền với tài khoản production.
- Thời gian lưu giữ theo yêu cầu kinh doanh/pháp lý; GDPR: xoá dữ liệu người dùng cũng phải tính tới backup.
Câu hỏi nối tiếp: "DB 3TB, khôi phục mất bao lâu?" → Đừng đoán — đo. Tải 3TB từ S3 và replay WAL có thể mất nhiều giờ; nếu RTO yêu cầu 30 phút thì cần standby nóng/delayed replica, snapshot, hoặc chia nhỏ dữ liệu.
Coi replica là backup; chưa bao giờ thử restore.
- Tôi trả lời được câu này mà không cần xem đáp án
DELETE FROM orders (không có WHERE) trên production lúc 14:32. Bạn khôi phục thế nào mà không mất các đơn hàng mới sau đó?Xem câu trả lời & giải thích
Ngừng chảy máu trước (dừng job/tính năng liên quan nếu cần, thông báo sự cố). Không khôi phục đè lên production. Thay vào đó: PITR ra một instance riêng tới thời điểm ngay trước 14:32 (xác định chính xác bằng log/WAL), trích xuất các dòng orders bị xoá, rồi chèn lại vào production có kiểm soát (xử lý FK, sequence, trigger, dòng đã được tạo lại). Các đơn mới sau 14:32 vẫn giữ nguyên. Sau đó postmortem và thêm guardrail.
- Xác định thời điểm: log câu lệnh (
log_statement/pgaudit), hoặcpg_waldumptìm transaction xoá; khôi phục vớirecovery_target_timehoặcrecovery_target_xidngay trước đó. - Dựng instance khôi phục, so sánh:
SELECT ... FROM restored.orders WHERE id NOT IN (production)— xuất bằngCOPY/postgres_fdw. - Chèn lại trong transaction, kiểm tra bảng con bị ảnh hưởng bởi
ON DELETE CASCADE(order_items, payments...) — cascade có thể đã xoá nhiều bảng hơn bạn nghĩ. - Xác minh với nghiệp vụ (số lượng, tổng tiền) trước khi đóng sự cố.
Delayed replica (recovery_min_apply_delay = '1h') là "cỗ máy thời gian" giúp lấy dữ liệu nhanh hơn PITR.
- Guardrail: không ai có quyền ghi trực tiếp vào production mặc định (quyền just-in-time, có phê duyệt); công cụ SQL bắt
WHEREcho DELETE/UPDATE; chạy thay đổi dữ liệu qua script đã review với dry-run và transaction có kiểm tra số dòng. - Soft delete hoặc bảng audit cho dữ liệu quan trọng giúp khôi phục mức ứng dụng nhanh hơn.
- Văn hoá không đổ lỗi: hệ thống cho phép một lệnh xoá sạch bảng là lỗi của hệ thống.
Câu hỏi nối tiếp: "Nếu chỉ có pg_dump hằng đêm lúc 2:00?" → Có thể khôi phục đơn tới 2:00, còn đơn từ 2:00 tới 14:32 phải tái dựng từ nguồn khác: log ứng dụng, event/outbox, dữ liệu nhà cung cấp thanh toán, email xác nhận. Đây là lý do cần PITR.
Restore toàn bộ DB về 14:31 trên production (mất mọi đơn sau đó).
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Hai hướng chính: (1) pg_upgrade --link tại chỗ — nhanh (phút) nhưng cần downtime ngắn và khó rollback khi đã khởi động bản mới; (2) logical replication sang cluster mới (blue-green): dựng cluster 17, sao chép schema, đồng bộ dữ liệu ban đầu + thay đổi liên tục, kiểm thử, rồi cutover trong vài giây-phút (dừng ghi, chờ bắt kịp, đồng bộ sequence, chuyển kết nối). Nhiều managed DB cung cấp blue-green deployment dựa trên cơ chế này.
- Kiểm tra trước: extension tương thích phiên bản mới, thay đổi hành vi giữa các bản (đọc release notes), truy vấn chậm đi do planner thay đổi — chạy lại workload thật trên cluster mới.
- Logical replication không sao chép DDL và sequence; bảng không có PK cần REPLICA IDENTITY; đóng băng thay đổi schema trong thời gian chuyển.
- Sau
pg_upgrade: chạyANALYZE(thống kê không được giữ ở bản cũ — từ Postgres 18 có giữ một phần), nếu không planner chọn plan tệ ngay khi mở traffic. - Kế hoạch rollback: với blue-green, giữ replication ngược (mới → cũ) trong một thời gian.
- Runbook từng bước có thời gian ước lượng, người chịu trách nhiệm, điểm quyết định go/no-go; diễn tập trên bản sao production.
- Cutover giờ thấp điểm, thông báo trước, theo dõi chặt dashboard sau chuyển.
Câu hỏi nối tiếp: "Sau cutover, ID mới bị trùng khoá chính." → Quên đồng bộ sequence sang cluster mới. Đặt giá trị sequence cao hơn max hiện tại (cộng biên an toàn) ngay trong bước cutover.
Dump/restore 2TB trong cửa sổ bảo trì; không ANALYZE sau nâng cấp; không có kế hoạch rollback.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
CDC đọc log thay đổi của database (WAL qua logical decoding) và phát mỗi INSERT/UPDATE/DELETE thành sự kiện (thường vào Kafka) — không cần sửa code ứng dụng, không dual write. Dùng cho: đồng bộ search index/cache/kho phân tích, outbox relay, tích hợp hệ thống. Vấn đề: replication slot giữ WAL khi consumer ngừng (đầy đĩa), snapshot ban đầu bảng lớn, thay đổi schema, định dạng sự kiện gắn chặt với schema nội bộ, thứ tự và trùng lặp (at-least-once), dữ liệu nhạy cảm chảy ra ngoài.
- Sự kiện CDC phản ánh bảng chứ không phải ý nghĩa nghiệp vụ: một nghiệp vụ "đặt hàng" sinh nhiều sự kiện lẻ trên nhiều bảng. Cho hệ thống ngoài, nên phát sự kiện nghiệp vụ qua outbox (Debezium có Outbox Event Router).
- Thứ tự được đảm bảo theo khoá (partition Kafka theo PK), không toàn cục.
- REPLICA IDENTITY FULL để có giá trị cũ trong UPDATE/DELETE (tốn WAL hơn).
- Schema evolution: dùng Schema Registry (Avro/Protobuf), thêm cột tương thích ngược.
- Alert theo dung lượng WAL bị slot giữ; đặt
max_slot_wal_keep_sizenhư lưới an toàn (chấp nhận phải snapshot lại nếu vượt). - Consumer idempotent theo (bảng, PK, LSN); có quy trình re-snapshot/reindex toàn bộ.
- Lọc/che cột nhạy cảm (PII) ở connector.
Câu hỏi nối tiếp: "Failover Postgres làm mất replication slot của Debezium?" → Với Postgres trước 17, slot logical không được đồng bộ sang standby → sau failover phải tạo lại và snapshot lại. Postgres 17 hỗ trợ đồng bộ slot (failover slots); nhiều managed DB có cơ chế riêng — cần kiểm tra trước khi phụ thuộc vào CDC.
Không biết rủi ro slot giữ WAL; phát sự kiện bảng thô cho service khác phụ thuộc.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Active-passive: một region nhận ghi, các region khác là replica chỉ đọc (và dự phòng DR) — đơn giản, nhất quán, nhưng ghi từ xa có độ trễ cao (100-250ms) và failover region cần quy trình. Active-active: nhiều region cùng nhận ghi — độ trễ ghi thấp cho người dùng địa phương và chịu mất region, nhưng phải giải quyết xung đột ghi (last-write-wins làm mất dữ liệu, CRDT, hoặc phân vùng quyền sở hữu dữ liệu theo region), hoặc dùng database phân tán đồng thuận (Spanner, CockroachDB) chấp nhận độ trễ commit liên region.
- Phân vùng theo vị trí (home region): dữ liệu của mỗi tenant/người dùng "sống" ở một region, ghi tại đó; các region khác chỉ đọc bản sao. Tránh xung đột mà vẫn gần người dùng — mô hình phổ biến nhất trong thực tế.
- Data residency (GDPR, luật địa phương): dữ liệu người dùng EU phải ở EU → kiến trúc theo region là bắt buộc, không chỉ là tối ưu.
- Tốc độ ánh sáng: khứ hồi Mỹ–châu Âu ~70-100ms, Mỹ–châu Á ~150-250ms — mọi giao thức đồng thuận liên region trả cái giá này cho mỗi commit.
- Tài nguyên toàn cục (username duy nhất, số dư dùng chung) cần một nơi quyết định duy nhất.
- Câu hỏi đầu tiên: yêu cầu thật là gì? Độ trễ đọc (giải bằng CDN + replica đọc), sẵn sàng khi mất region (active-passive + DR có thể đủ), hay độ trễ ghi địa phương?
- Chi phí: truyền dữ liệu liên region đắt; vận hành nhiều region phức tạp gấp bội.
Câu hỏi nối tiếp: "Người dùng châu Á than lưu dữ liệu chậm." → Trước khi active-active: đo xem chậm do ghi xa hay do nhiều round-trip tuần tự trong một request (N query nối tiếp × 200ms). Gộp truy vấn, xử lý bất đồng bộ, optimistic UI có thể đủ.
Đề xuất active-active ngay mà không nói tới xung đột; quên data residency.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Các cách từ đơn giản đến chính xác: (1) đọc từ primary trong N giây sau khi người dùng ghi (đánh dấu trong session/cookie); (2) các truy vấn ngay sau ghi trong cùng request luôn dùng primary; (3) theo LSN: sau khi ghi lấy pg_current_wal_lsn(), lưu vào session; khi đọc từ replica, chỉ dùng replica có pg_last_wal_replay_lsn() >= lsn (hoặc chờ), nếu không thì đọc primary; (4) synchronous_commit = remote_apply cho thao tác quan trọng.
- Mặc định nhiều ORM/proxy định tuyến theo câu lệnh (SELECT → replica) — không biết ngữ cảnh người dùng nên dễ vi phạm read-your-writes.
- Monotonic reads: người dùng đọc lần lượt từ hai replica có độ trễ khác nhau thấy dữ liệu "đi lùi" → gắn người dùng với một replica (sticky) hoặc theo LSN.
- Replica bị trễ lớn (vài phút khi có truy vấn nặng/WAL lớn) phải được loại khỏi pool đọc tự động.
- Trả dữ liệu mới trong response của chính thao tác ghi để client cập nhật cache, giảm nhu cầu đọc lại.
- Định tuyến rõ ràng ở tầng repository:
repo.read()vsrepo.readFresh()thay vì tự động theo câu lệnh. - Metric replication lag theo replica và alert.
Tình huống: "Sau khi đăng ký, người dùng bị chuyển tới trang đăng nhập vì 'tài khoản không tồn tại'." → Kiểm tra session đọc từ replica chưa nhận dòng user mới. Luồng xác thực/onboarding đọc từ primary.
Không nhận ra replication lag là nguyên nhân bug 'thỉnh thoảng'.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Bắt đầu từ yêu cầu kinh doanh: RPO/RTO cho từng hệ thống (thanh toán khác blog). Chọn chiến lược tương ứng chi phí: backup & restore (rẻ, RTO nhiều giờ) → pilot light (dữ liệu sao chép sang region khác, hạ tầng tối thiểu sẵn sàng) → warm standby (bản thu nhỏ chạy sẵn) → multi-region active (đắt, RTO phút). Mọi thứ phải được tự động hoá bằng IaC và diễn tập thực tế.
| Chiến lược | RPO | RTO | Chi phí |
|---|---|---|---|
| Backup & restore sang region khác | Giờ | Giờ - ngày | Thấp |
| Pilot light | Phút | Hàng chục phút - giờ | Trung bình thấp |
| Warm standby | Giây - phút | Phút | Trung bình cao |
| Active-active | ≈ 0 | ≈ 0 - phút | Cao |
- Đừng quên phụ thuộc ngoài DB: DNS, secret, container registry, object storage, hàng đợi, nhà cung cấp danh tính, cấu hình — đều phải có ở region dự phòng.
- Phụ thuộc ẩn vào region chính (control plane của cloud, dịch vụ chỉ có ở một region) làm hỏng kế hoạch.
- Game day: giả lập mất region trên staging (hoặc production có kiểm soát), đo RTO/RPO thật, ghi lại các bước thủ công còn sót.
- Runbook DR rõ ràng: ai quyết định failover region, tiêu chí, cách quay về (failback).
- Phần lớn sự cố là ở mức một service/zone — đầu tư Multi-AZ trước khi multi-region.
Câu hỏi nối tiếp: "Ban giám đốc muốn RTO 5 phút cho mọi thứ." → Trình bày chi phí cụ thể cho từng mức và đề xuất phân tầng: thanh toán/đăng nhập ở warm standby, báo cáo/analytics chấp nhận RTO vài giờ.
Kế hoạch DR chỉ có trên giấy, chưa từng diễn tập.
- Tôi trả lời được câu này mà không cần xem đáp án