Reliability, security, observability & chi phí
SLI/SLO/error budget, zero trust và xác thực giữa service, mã hoá và KMS, quản lý secret, phân quyền quy mô lớn (ReBAC), observability ở quy mô lớn, chaos engineering, FinOps, tuân thủ GDPR, ra quyết định kiến trúc.
Kiến trúc sư cấp cao được đánh giá bằng các thuộc tính phi chức năng: hệ thống có đủ tin cậy, an toàn, quan sát được và có chi phí hợp lý không — và bằng cách họ ra quyết định khi các mục tiêu này mâu thuẫn. Người phỏng vấn muốn nghe những khung tư duy có thể đo lường (SLO, chi phí trên đơn vị) thay vì cảm tính.
📋 Danh sách câu hỏi
- 81SLI, SLO, SLA và error budget là gì? Bạn đặt alert theo burn rate thế nào?●●●○ Khó
- 82Zero trust nghĩa là gì trong kiến trúc microservice? Các service xác thực và phân quyền lẫn nhau thế nào?●●●● Cực khó
- 83Mã hoá dữ liệu khi lưu trữ (at rest) bằng KMS hoạt động thế nào? Envelope encryption và xoay vòng khoá là gì?●●●○ Khó
- 84Bạn quản lý secret cho hàng trăm service thế nào? Dynamic secret là gì?●●●○ Khó
- 85Phân quyền phức tạp ở quy mô lớn (chia sẻ tài liệu, thư mục lồng nhau, nhóm, tổ chức) — bạn thiết kế thế nào? ReBAC và hệ thống kiểu Google Zanzibar là gì?●●●● Cực khó
- 86Chi phí observability tăng nhanh hơn lưu lượng. Bạn thiết kế pipeline log/metric/trace ở quy mô lớn thế nào để vừa đủ thông tin vừa kiểm soát chi phí?●●●● Cực khó
- 87Bạn bắt đầu chaos engineering trong một tổ chức chưa từng làm thế nào cho an toàn?●●●○ Khó
- 88Hoá đơn cloud tăng 40% trong khi số người dùng chỉ tăng 10%. Bạn phân tích và tối ưu chi phí (FinOps) thế nào?●●●○ Khó
- 89Người dùng yêu cầu xoá toàn bộ dữ liệu cá nhân (GDPR 'right to be forgotten'). Dữ liệu của họ nằm ở DB, cache, search, kho phân tích, log, backup, Kafka và bên thứ ba. Bạn thiết kế thế nào?●●●● Cực khó
- 90Bạn đưa ra và ghi lại quyết định kiến trúc quan trọng thế nào? Khi nào nên 'build' và khi nào nên 'buy'?●●●○ Khó
Xem câu trả lời & giải thích
SLI: chỉ số đo trải nghiệm người dùng (tỷ lệ request thành công, tỷ lệ request < 300ms). SLO: mục tiêu nội bộ cho SLI trong một cửa sổ (99.9% thành công trong 30 ngày). SLA: cam kết hợp đồng với khách, có bồi thường — thường lỏng hơn SLO. Error budget = 1 − SLO (0.1% ≈ 43 phút/tháng): còn ngân sách thì được phát hành nhanh, chấp nhận rủi ro; hết ngân sách thì ưu tiên độ tin cậy. Alert theo burn rate (tốc độ tiêu ngân sách) thay vì ngưỡng tĩnh: báo khẩn khi tiêu nhanh (ví dụ 2% ngân sách trong 1 giờ), tạo ticket khi tiêu chậm kéo dài.
| SLO | Thời gian lỗi cho phép / 30 ngày |
|---|---|
| 99% | ~7.2 giờ |
| 99.9% | ~43 phút |
| 99.99% | ~4.3 phút |
- Multi-window, multi-burn-rate (theo SRE Workbook): ví dụ burn rate 14.4 trong cửa sổ 1 giờ (và xác nhận bằng cửa sổ 5 phút) → page; burn rate 1-3 trong 6 giờ/3 ngày → ticket.
- Đo SLI càng gần người dùng càng tốt (load balancer, RUM) thay vì chỉ ở server.
- 100% không phải mục tiêu đúng: mỗi số 9 tăng chi phí gấp bội và người dùng không phân biệt được (mạng của họ kém tin cậy hơn).
- Bắt đầu với 2-3 SLO cho hành trình quan trọng (đăng nhập, xem, thanh toán), không phải mọi endpoint.
- Error budget policy được ban lãnh đạo đồng ý trước — khi hết ngân sách, việc đóng băng tính năng không phải là tranh cãi.
Câu hỏi nối tiếp: "Team bị đánh thức 15 lần/tuần vì alert CPU cao nhưng không ai bị ảnh hưởng." → Alert theo nguyên nhân thay vì triệu chứng. Chuyển sang alert theo SLO burn rate; CPU cao thành dashboard/ticket.
Đặt SLO 100%; alert trên mọi metric hạ tầng.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Zero trust: không tin cậy dựa trên vị trí mạng ('ở trong VPC là an toàn'); mọi kết nối đều phải xác thực, phân quyền và mã hoá. Giữa service: mTLS với danh tính workload (SPIFFE/SPIFFE ID, chứng chỉ ngắn hạn tự xoay vòng qua mesh hoặc SPIRE) để biết service nào đang gọi; policy cho phép service A gọi endpoint nào của B; và truyền danh tính người dùng cuối (JWT ngắn hạn, token exchange) để service phía sau phân quyền theo người dùng, không chỉ theo service.
- Hai câu hỏi tách biệt: "service nào gọi?" (workload identity) và "thay mặt người dùng nào?" (end-user context).
- Không truyền nguyên token của người dùng tới mọi service (rộng quyền, dễ bị lạm dụng nếu một service bị chiếm) — dùng token exchange (RFC 8693) để có token hẹp phạm vi (audience) cho từng service.
- Network policy (Kubernetes NetworkPolicy) là lớp bổ sung, không thay thế xác thực.
- Truy cập của con người vào hệ thống nội bộ: SSO + MFA + device posture, quyền just-in-time thay vì VPN "vào là thấy hết".
- Service mesh (Istio/Linkerd) cho mTLS tự động là cách nhanh nhất; không có mesh thì dùng chứng chỉ do SPIRE/cert-manager cấp.
- Ghi log xác thực/từ chối để điều tra; quyền tối thiểu cho mỗi service (IAM role riêng cho từng workload, không dùng chung).
Câu hỏi nối tiếp: "Một service nội bộ bị lỗ hổng SSRF. Kẻ tấn công làm được gì?" → Trong mạng 'tin tưởng nội bộ', gọi được mọi service khác và metadata cloud. Với zero trust, request không có danh tính hợp lệ bị từ chối, và quyền của service bị chiếm rất hẹp.
Nói 'service nội bộ không cần xác thực vì đã có firewall'.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Envelope encryption: dữ liệu được mã hoá bằng một data key (DEK, đối xứng, sinh cho từng đối tượng/bản ghi/tenant); DEK được mã hoá bởi key encryption key (KEK) nằm trong KMS/HSM và không bao giờ rời khỏi đó; lưu DEK đã mã hoá cạnh dữ liệu. Giải mã: gửi DEK đã mã hoá cho KMS (có kiểm soát quyền, audit log) để lấy DEK rõ, giải mã dữ liệu. Xoay vòng KEK không cần mã hoá lại toàn bộ dữ liệu — chỉ cần mã hoá lại các DEK.
- Mã hoá đĩa/volume do cloud cung cấp chống mất ổ đĩa vật lý, nhưng không chống ai đó có quyền đọc database qua ứng dụng.
- Field-level/application-level encryption cho dữ liệu cực nhạy (số CMND, thẻ) — DB chỉ thấy bản mã; đánh đổi: không tìm kiếm/sắp xếp được (dùng blind index — HMAC của giá trị — để tìm theo bằng).
- Thuật toán: AES-256-GCM (có xác thực); không tự chế; dùng thư viện cấp cao (Tink, AWS Encryption SDK).
- Per-tenant key + BYOK (khách hàng quản lý khoá): thu hồi khoá = dữ liệu của tenant không còn đọc được (crypto-shredding).
- Cache DEK rõ trong bộ nhớ có thời hạn để không gọi KMS cho mỗi bản ghi (chi phí + độ trễ + rate limit KMS).
- Thẻ thanh toán: không tự lưu — dùng tokenization của nhà cung cấp thanh toán để ra khỏi phạm vi PCI DSS phần lớn.
- TLS cho mọi kết nối, kể cả tới database nội bộ.
Câu hỏi nối tiếp: "Khoá KMS bị xoá nhầm?" → Dữ liệu được mã hoá bằng nó không thể khôi phục. KMS có thời gian chờ xoá (ví dụ 7-30 ngày) — không bỏ qua, có alert khi lên lịch xoá khoá, phân quyền xoá khoá chặt.
Nghĩ bật 'encryption at rest' của RDS là đủ bảo vệ khỏi mọi rò rỉ.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Lưu tập trung trong secret manager (HashiCorp Vault, AWS Secrets Manager, GCP Secret Manager) với phân quyền theo danh tính workload, audit truy cập, và xoay vòng tự động. Ứng dụng lấy secret lúc chạy (hoặc qua sidecar/CSI driver), không nằm trong image, repo hay biến CI dạng rõ. Dynamic secret: secret manager tạo credential theo yêu cầu, ngắn hạn, riêng cho từng instance (ví dụ user Postgres sống 1 giờ) — lộ một credential chỉ có giá trị ngắn và truy ngược được nguồn.
- Thứ tự ưu tiên: không có secret (IAM role / workload identity để gọi dịch vụ cloud) > dynamic secret > secret tĩnh có xoay vòng > secret tĩnh vĩnh viễn.
- Xoay vòng không downtime: hỗ trợ hai credential hợp lệ song song trong giai đoạn chuyển.
- Kubernetes Secret mặc định chỉ base64 — bật mã hoá etcd, hoặc dùng External Secrets Operator đồng bộ từ secret manager.
- Quét secret trong repo và image (gitleaks, trufflehog), push protection.
- Không log secret/token: redact trong logger, cẩn thận với log lỗi in nguyên config hoặc header.
- CI/CD dùng OIDC federation tới cloud thay vì lưu access key.
Câu hỏi nối tiếp: "Mật khẩu database production đã dùng 4 năm, 30 người từng biết." → Kế hoạch: chuyển sang credential riêng theo service, lưu trong secret manager, xoay vòng (hai user song song), con người truy cập qua công cụ có phê duyệt và tài khoản cá nhân.
Lưu secret trong biến môi trường của file docker-compose commit lên git.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Khi quyền phụ thuộc quan hệ ('người dùng X là editor của thư mục cha của tài liệu Y', 'thành viên nhóm Z có quyền view'), RBAC thuần không đủ. ReBAC (Relationship-Based Access Control) mô hình hoá quyền bằng đồ thị bộ ba (object, relation, subject) và quy tắc suy diễn (editor ⇒ viewer, viewer của thư mục ⇒ viewer của tài liệu con). Zanzibar (hệ thống quyền của Google) là dịch vụ tập trung lưu các quan hệ này và trả lời 'X có quyền R trên O không?' cực nhanh ở quy mô lớn; các triển khai mở: OpenFGA, SpiceDB, Permify.
# Mô hình (cú pháp kiểu OpenFGA)
type folder
relations
define owner: [user]
define editor: [user, group#member] or owner
define viewer: [user, group#member] or editor or viewer from parent
define parent: [folder]
type document
relations
define parent: [folder]
define editor: [user] or editor from parent
define viewer: [user] or editor or viewer from parent
# Kiểm tra: check(user:an, viewer, document:spec-42) → true/false
# Liệt kê: listObjects(user:an, viewer, document) → các tài liệu An xem được
- Thách thức: nhất quán khi quyền vừa bị thu hồi (Zanzibar dùng "zookie"/consistency token để tránh 'new enemy problem'), liệt kê đối tượng được phép (để lọc danh sách, tìm kiếm), hiệu năng truy vấn đồ thị sâu.
- Thay thế đơn giản hơn: policy engine (OPA/Cedar) cho quy tắc ABAC dựa trên thuộc tính khi quan hệ không sâu.
- Tách quyết định phân quyền khỏi code nghiệp vụ (một dịch vụ/thư viện chung), ghi lại quyết định để audit.
- Kết hợp lọc danh sách: lấy danh sách id được phép từ dịch vụ quyền rồi truy vấn, hoặc đồng bộ ACL vào search index.
Câu hỏi nối tiếp: "Người dùng vừa bị gỡ khỏi dự án vẫn thấy tài liệu trong kết quả tìm kiếm." → ACL trong search index được đồng bộ trễ. Thêm bước kiểm tra quyền lúc trả kết quả (post-filter) cho dữ liệu nhạy cảm, và đồng bộ sự kiện thu hồi quyền ưu tiên cao.
Nhồi mọi quy tắc quyền vào if-else rải rác trong controller.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Chuẩn hoá thu thập bằng OpenTelemetry (SDK + Collector) để tách khỏi nhà cung cấp; xử lý trong Collector: lọc, che PII, gắn metadata, định tuyến. Kiểm soát chi phí: sampling trace (head-based theo tỷ lệ cho traffic bình thường, tail-based giữ lại 100% trace lỗi/chậm), mức log hợp lý và lấy mẫu log debug, phân tầng lưu trữ (nóng 7 ngày, lạnh rẻ trong object storage), kiểm soát cardinality metric (không gắn user_id/request_id làm label), chuyển log lặp lại thành metric.
- Head sampling: quyết định giữ/bỏ ngay đầu request → rẻ nhưng có thể bỏ mất trace lỗi hiếm. Tail sampling: chờ trace hoàn tất (Collector gom theo trace id) rồi quyết định theo kết quả → đúng hơn, tốn tài nguyên Collector.
- Cardinality bùng nổ: metric
http_requests{path="/users/123"}với id trong path → hàng triệu chuỗi thời gian. Chuẩn hoá route template (/users/:id). - Exemplars: gắn trace id mẫu vào điểm metric để nhảy từ biểu đồ latency sang trace cụ thể.
- Wide events / structured events (kiểu Honeycomb): một sự kiện giàu ngữ cảnh mỗi request thay vì nhiều dòng log rời.
- Ngân sách observability theo team/service, dashboard chi phí theo nguồn dữ liệu.
- Log có cấu trúc, mức INFO cho sự kiện có ý nghĩa nghiệp vụ, không log toàn bộ request/response body.
- Định kỳ xoá dashboard/alert/metric không ai dùng.
Câu hỏi nối tiếp: "Hoá đơn Datadog tăng gấp 3 sau một lần deploy." → Thường do một label/tag cardinality cao mới thêm vào metric, hoặc log debug bị bật trên production. Có alert theo lượng dữ liệu ingest để phát hiện trong vài giờ chứ không phải cuối tháng.
Ghi log mọi thứ 'phòng khi cần'; gắn user_id vào label metric.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Chaos engineering là thí nghiệm có kiểm soát để kiểm chứng giả thuyết về khả năng chịu lỗi, không phải phá hoại ngẫu nhiên. Bắt đầu: xác định trạng thái ổn định (SLO/metric kinh doanh), đặt giả thuyết ('nếu một pod Redis chết, checkout vẫn đạt SLO'), chạy ở staging trước với bán kính nhỏ, có nút dừng khẩn cấp và người quan sát, rồi mới tiến dần lên production giờ thấp điểm với phạm vi hẹp. Ghi lại kết quả, sửa điểm yếu, tự động hoá thí nghiệm đã ổn định.
- Loại lỗi thử: kill instance/pod, mất zone, độ trễ mạng, mất gói, phụ thuộc trả lỗi/chậm, đầy đĩa, CPU cao, DNS lỗi, đồng hồ lệch, failover database.
- Công cụ: AWS Fault Injection Service, Chaos Mesh, Litmus, Gremlin, Toxiproxy (cho kiểm thử cục bộ/CI).
- Game day: kịch bản sự cố có sự tham gia của người trực để luyện cả quy trình phản ứng, không chỉ hệ thống.
- Thí nghiệm đầu tiên có giá trị cao nhất thường rất đơn giản: tắt một replica của mỗi service và xem có ai bị ảnh hưởng không; thử khôi phục từ backup.
- Điều kiện tiên quyết: observability đủ để thấy tác động, và văn hoá không đổ lỗi.
Câu hỏi nối tiếp: "Ban lãnh đạo lo ngại thí nghiệm gây sự cố thật." → Bắt đầu ở staging, chứng minh giá trị bằng những điểm yếu tìm được trước khi khách hàng tìm ra; production chỉ khi có kiểm soát bán kính, tự động dừng khi SLO bị ảnh hưởng.
Bắt đầu bằng việc tắt ngẫu nhiên máy production không có giả thuyết và không có observability.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Đầu tiên là khả năng nhìn thấy: gắn tag chi phí theo service/team/môi trường, tính chi phí trên đơn vị (mỗi request, mỗi khách hàng, mỗi đơn hàng) để biết tăng trưởng chi phí có hợp lý không. Sau đó tìm theo thứ tự lợi ích: tài nguyên bị bỏ quên (môi trường cũ, volume/snapshot mồ côi), over-provisioning (rightsizing theo sử dụng thật), giá mua (reserved/savings plan cho tải nền, spot cho tải chịu gián đoạn), kiến trúc (truyền dữ liệu liên zone/region, NAT gateway, log/observability, lưu trữ không có vòng đời, truy vấn tốn kém).
- Thủ phạm hay bị bỏ qua: phí truyền dữ liệu (cross-AZ, egress Internet, NAT), log và metric, snapshot cũ, bản sao dữ liệu trong môi trường dev, GPU nhàn rỗi, request tới API LLM.
- Tối ưu kiến trúc: CDN giảm egress, nén, lifecycle chuyển dữ liệu cũ sang lớp lưu trữ rẻ, autoscaling và tắt môi trường non-prod ngoài giờ, ARM instance (Graviton) rẻ hơn cho cùng hiệu năng.
- Đánh đổi kỹ sư: một tuần kỹ sư để tiết kiệm $50/tháng là lỗ.
- Báo cáo chi phí hằng tuần cho từng team; alert bất thường chi phí (anomaly detection).
- Đưa chi phí vào tài liệu thiết kế: ước tính chi phí hằng tháng cho kiến trúc đề xuất ở quy mô hiện tại và gấp 10 lần.
Câu chuyện mẫu: "Chi phí tăng 40%: phân tích theo tag thấy 60% phần tăng đến từ NAT gateway — các service gọi S3 và API nội bộ qua NAT. Thêm VPC endpoint cho S3/ECR và định tuyến nội bộ, giảm $18.000/tháng; thêm lifecycle cho log bucket giảm thêm $4.000."
Chỉ đề xuất 'mua reserved instance'; tối ưu không có số liệu.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Cần bản đồ dữ liệu (data inventory): PII nằm ở đâu, ai sở hữu. Thiết kế một quy trình xoá điều phối (workflow): ghi nhận yêu cầu, phát sự kiện UserErasureRequested, mỗi hệ thống (service, search, warehouse, CRM, email provider...) xử lý và xác nhận, theo dõi tới khi hoàn tất trong hạn luật định, có bằng chứng. Với nơi khó xoá (backup bất biến, log, event log bất biến): giảm thiểu PII từ đầu, crypto-shredding (mã hoá PII bằng khoá theo người dùng, xoá khoá), hoặc thời gian lưu giữ ngắn + đảm bảo không khôi phục dữ liệu đã xoá khi restore backup.
- Nguyên tắc privacy by design: thu thập tối thiểu, tách PII khỏi dữ liệu hành vi (dùng pseudonymous id), retention có thời hạn cho mọi loại dữ liệu.
- Ẩn danh hoá (anonymization) thật sự khác giả danh (pseudonymization): dữ liệu giả danh vẫn là dữ liệu cá nhân theo GDPR.
- Một số dữ liệu phải giữ theo luật khác (hoá đơn, kế toán) — xoá phần còn lại, giữ phần bắt buộc với quyền truy cập hạn chế.
- Data residency: dữ liệu công dân EU ở region EU; chuyển dữ liệu ra ngoài cần cơ sở pháp lý.
- Test tự động: tạo người dùng giả, chạy quy trình xoá, quét mọi kho xem còn dấu vết không.
- Log: không ghi PII (che email, IP rút gọn), hoặc retention ngắn.
- Ghi lại trong ADR: hệ thống mới phải đăng ký vào quy trình xoá trước khi lưu PII.
Câu hỏi nối tiếp: "Khôi phục backup cũ sau sự cố làm 'hồi sinh' người dùng đã xoá." → Lưu danh sách erasure (chỉ id/hash) và áp lại sau mọi lần restore như một bước bắt buộc trong runbook.
Chỉ xoá dòng trong bảng users; quên log, search, warehouse, bên thứ ba.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Phân loại quyết định: cửa một chiều (khó đảo ngược — chọn database chính, mô hình multi-tenant, ngôn ngữ, shard key) cần phân tích kỹ, RFC/tài liệu thiết kế, review rộng; cửa hai chiều (dễ đổi) quyết nhanh, thử nghiệm. Ghi lại bằng ADR (bối cảnh, phương án, quyết định, hệ quả, điều kiện xem xét lại). Build vs buy: mua/dùng dịch vụ cho năng lực không tạo khác biệt (auth, thanh toán, email, observability, search managed); tự xây phần lõi tạo lợi thế cạnh tranh hoặc khi giải pháp có sẵn không đáp ứng và tổng chi phí sở hữu tự xây thấp hơn.
- RFC tốt: vấn đề và mục tiêu đo được, không-mục-tiêu, ràng buộc, các phương án (kể cả 'không làm gì'), đánh đổi, rủi ro và cách giảm thiểu, kế hoạch triển khai và rollback, chi phí.
- Tổng chi phí sở hữu (TCO) của tự xây: phát triển + vận hành, trực sự cố, bảo mật, nâng cấp, kiến thức tập trung vào vài người — thường bị đánh giá thấp nhiều lần.
- Rủi ro của mua: lock-in, chi phí tăng theo quy mô, giới hạn tuỳ biến, phụ thuộc lộ trình của nhà cung cấp — giảm bằng lớp trừu tượng mỏng và chuẩn mở (OpenTelemetry, OIDC, SQL).
- Quyết định có hạn chót: thu thập đủ thông tin để quyết định ở mức tin cậy ~70%, không chờ chắc chắn tuyệt đối với cửa hai chiều.
- Xem lại ADR khi điều kiện thay đổi (quy mô ×10, chi phí vượt ngưỡng) — đặt sẵn các tiêu chí đó trong ADR.
- "Choose boring technology": mỗi công nghệ mới tiêu tốn một phần ngân sách đổi mới có hạn của team.
Câu hỏi nối tiếp: "Team muốn tự xây hệ thống feature flag." → Ước tính TCO (UI, SDK nhiều ngôn ngữ, đánh giá theo segment, audit, độ bền khi dịch vụ flag sập) so với dịch vụ có sẵn/mã nguồn mở (OpenFeature + Unleash/Flagsmith). Thường nên dùng có sẵn trừ khi có yêu cầu đặc biệt.
Ra quyết định cửa một chiều trong một cuộc họp không có tài liệu; tự xây mọi thứ.
- Tôi trả lời được câu này mà không cần xem đáp án