Non-Functional Requirements & xử lý sự cố
Định nghĩa NFR đo được, SLI/SLO/error budget, hiệu năng & load test, bảo mật theo OWASP, reliability patterns (timeout, retry, circuit breaker, idempotency), observability, quy trình xử lý incident và postmortem.
Developing Non-Functional Requirements (Performance, Security, Reliability, Maintainability…); Response quickly to handle incidents
Đây là phần phân biệt mid với senior trong JD. Người phỏng vấn muốn thấy bạn biến "hệ thống phải nhanh và ổn định" thành con số, đo được, và có quy trình khi mọi thứ hỏng lúc 2 giờ sáng.
📋 Danh sách câu hỏi
- 76NFR là gì? Viết NFR thế nào để đo được?●●○○ Trung bình
- 77SLI, SLO, SLA và error budget là gì?●●●○ Khó
- 78API chậm ở production. Bạn điều tra và tối ưu thế nào?●●●○ Khó
- 79Reliability patterns: timeout, retry, circuit breaker, bulkhead — dùng thế nào?●●●○ Khó
- 80Có sự cố production lúc đang trực. Bạn xử lý theo các bước nào?●●●○ Khó
- 81Observability: log, metric, trace — bạn thiết lập thế nào?●●○○ Trung bình
- 82Security NFR: bạn đảm bảo bảo mật xuyên suốt vòng đời phát triển thế nào?●●●○ Khó
- 83Load test: bạn làm thế nào và đọc kết quả ra sao?●●○○ Trung bình
Xem câu trả lời & giải thích
Yêu cầu về chất lượng của hệ thống thay vì tính năng: hiệu năng, khả năng mở rộng, sẵn sàng, bảo mật, bảo trì, quan sát, tuân thủ. Viết đo được: 'p95 latency của API đặt hàng < 300ms ở 500 RPS', 'availability 99.9%/tháng', 'RPO 5 phút, RTO 30 phút', 'mọi endpoint có auth và rate limit', 'LCP < 2.5s ở p75 mobile'.
| NFR | Chỉ số | Cách kiểm chứng |
|---|---|---|
| Performance | p95/p99 latency, throughput, Web Vitals | Load test (k6), RUM, APM |
| Reliability | Availability, error rate, MTTR | SLO dashboard, chaos test |
| Security | Số lỗ hổng mở, thời gian vá | SAST/DAST, pentest, dependency scan |
| Maintainability | Lead time, change failure rate | DORA metrics, code analysis |
| Scalability | Chi phí và latency khi tải tăng x10 | Load test tăng dần |
NFR đưa vào Definition of Done và acceptance criteria; có test tự động (performance budget trong CI, Lighthouse CI, k6 threshold).
Nối tiếp: "PO không quan tâm NFR." → Dịch sang ngôn ngữ kinh doanh: mỗi 100ms chậm giảm X% chuyển đổi; downtime 1 giờ mất Y doanh thu.
NFR kiểu 'hệ thống phải nhanh'.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
SLI: chỉ số đo được (tỷ lệ request thành công < 500ms). SLO: mục tiêu nội bộ cho SLI (99.9% trong 30 ngày). SLA: cam kết với khách có phạt (thường lỏng hơn SLO). Error budget = 100% − SLO (0.1% ≈ 43 phút/tháng): còn ngân sách thì ra tính năng nhanh; cạn thì ưu tiên reliability.
Cảnh báo theo tốc độ đốt ngân sách (burn rate) thay vì từng spike — giảm báo động giả. SLO đặt theo trải nghiệm người dùng (luồng quan trọng), không theo CPU.
GCP Cloud Monitoring có SLO monitoring cho Cloud Run/Load Balancer; Grafana/Prometheus với sloth/pyrra.
Nối tiếp: "Vì sao không đặt SLO 100%?" → Không đạt được, chi phí tăng phi tuyến, và chặn mọi thay đổi.
Nhầm SLO với SLA.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Xác định phạm vi (endpoint nào, từ khi nào, p50 hay chỉ p99, mọi người dùng hay một nhóm) → trace phân tán xem thời gian nằm ở đâu (DB, API ngoài, CPU, chờ pool) → tìm nguyên nhân (query thiếu index, N+1, lock, cache miss, event loop bị chặn, cold start, pool cạn) → sửa điểm tốn nhất → đo lại và thêm cảnh báo/test để không tái phát.
Định luật Little: concurrency = throughput × latency → latency tăng làm cạn pool DB/connection, gây hiệu ứng dây chuyền. Đối chiếu với thời điểm deploy gần nhất.
Công cụ: OpenTelemetry + Cloud Trace/Jaeger, pg_stat_statements, Node --cpu-prof/Clinic, APM. Tối ưu điển hình: index, batch, cache, đưa việc nặng sang queue, giảm payload, nén, HTTP keep-alive.
Tình huống: "Chỉ p99 tăng, p50 bình thường." → Một phần request gặp: cold start, GC pause, lock contention, một đối tác chậm, hoặc một tenant dữ liệu lớn.
Tăng cấu hình máy trước khi đo.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Timeout cho mọi lời gọi ra ngoài (không có timeout = treo vô hạn). Retry chỉ với lỗi tạm thời và thao tác idempotent, exponential backoff + jitter, giới hạn số lần. Circuit breaker: dịch vụ phụ thuộc lỗi liên tục thì ngắt nhanh, trả fallback, thử lại sau. Bulkhead: tách tài nguyên (pool riêng) để một phụ thuộc chậm không kéo sập cả hệ thống. Cộng thêm graceful degradation, idempotency, queue để hấp thụ tải.
const res = await fetch(url, { signal: AbortSignal.timeout(2000) });
// retry: 200ms, 400ms, 800ms (+ jitter); không retry 4xx (trừ 429)
// circuit breaker: thư viện opossum — open khi lỗi > 50% trong 10s, half-open sau 30s
Retry nhiều tầng cộng dồn (client × gateway × service) gây retry storm — chỉ retry ở một tầng, có retry budget.
Trang sản phẩm: dịch vụ gợi ý lỗi → ẩn khối gợi ý (fallback), trang vẫn bán được hàng.
Nối tiếp: "Đối tác thanh toán timeout — có retry không?" → Không retry mù; dùng idempotency key và truy vấn trạng thái giao dịch trước.
Retry vô hạn không backoff; retry thao tác không idempotent.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
(1) Xác nhận và đánh giá mức độ (ảnh hưởng bao nhiêu người, chức năng gì), khai báo incident, có người chỉ huy. (2) Giảm thiệt hại trước, tìm nguyên nhân sau: rollback bản deploy gần nhất, tắt feature flag, scale, chuyển traffic. (3) Giao tiếp định kỳ cho stakeholder/khách (status page). (4) Xác minh đã hồi phục bằng số liệu. (5) Postmortem không đổ lỗi: timeline, nguyên nhân gốc, vì sao không phát hiện sớm, action items có chủ sở hữu và hạn.
Chỉ số: MTTD (phát hiện), MTTR (khôi phục). Runbook cho sự cố thường gặp; on-call có cảnh báo theo SLO; quyền rollback nhanh không cần chờ phê duyệt.
Kể một sự cố thật theo STAR: 'Sau deploy, tỷ lệ lỗi checkout lên 30%; tôi rollback trong 6 phút; nguyên nhân là migration đổi tên cột; action: expand-contract, smoke test checkout sau deploy, cảnh báo burn rate.'
Nối tiếp: "Rollback không được vì migration đã chạy." → Đó là lý do migration phải tương thích ngược; roll-forward bằng bản vá; bài học vào postmortem.
Lao vào debug nguyên nhân trong khi người dùng vẫn đang lỗi; postmortem đổ lỗi cá nhân.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Log có cấu trúc (JSON) với request id/trace id, mức độ, không chứa dữ liệu nhạy cảm. Metric: RED cho service (Rate, Errors, Duration), USE cho tài nguyên, chỉ số nghiệp vụ (đơn/phút). Trace phân tán bằng OpenTelemetry để thấy một request đi qua những service nào, tốn bao lâu ở đâu. Dashboard theo SLO, cảnh báo hành động được.
Ba trụ cột nối với nhau bằng trace id: từ cảnh báo metric → trace chậm → log của đúng request đó.
NestJS: pino + nestjs-pino, OTel SDK auto-instrument (http, pg, redis); Next.js: instrumentation.ts; GCP: Cloud Logging, Monitoring, Trace, Error Reporting.
Nối tiếp: "Chi phí log quá cao." → Giảm log mức debug ở production, sampling trace, loại log trùng, đặt retention.
console.log chuỗi tự do; log cả password/token.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Thiết kế: threat modeling cho tính năng nhạy cảm, nguyên tắc quyền tối thiểu. Code: validate input, query có tham số, kiểm tra quyền trên tài nguyên, không tự chế crypto, secret trong Secret Manager. CI: SAST, quét dependency/secret/image. Vận hành: HTTPS, security headers, WAF, rate limit, audit log, vá CVE nhanh. Con người: review, đào tạo, quy trình báo lỗ hổng.
OWASP Top 10 (web) và API Top 10 làm checklist. Mã hoá dữ liệu khi truyền (TLS) và khi lưu; dữ liệu cá nhân tuân thủ luật (Nghị định 13/2023 về bảo vệ dữ liệu cá nhân ở Việt Nam, GDPR nếu có khách EU).
GCP: IAM quyền tối thiểu cho service account, Workload Identity thay key JSON, VPC Service Controls, Cloud Armor, Secret Manager, Binary Authorization cho image.
Tình huống: "Phát hiện API key bị commit lên GitHub public." → Thu hồi/xoay key ngay (xoá commit không đủ), kiểm tra log sử dụng, thêm gitleaks vào pre-commit/CI.
Coi bảo mật là việc của team security.
- Tôi trả lời được câu này mà không cần xem đáp án
Xem câu trả lời & giải thích
Xác định mục tiêu từ NFR (500 RPS, p95 < 300ms), kịch bản giống người dùng thật (tỷ lệ đọc/ghi, think time, dữ liệu đa dạng), chạy trên môi trường giống production. Loại: load (tải dự kiến), stress (tới khi gãy), spike (tăng đột ngột), soak (nhiều giờ — tìm leak). Đọc: latency phân vị, error rate, throughput, và tài nguyên (CPU, pool DB, event loop) để biết nút thắt.
// k6
export const options = { stages: [{ duration: '2m', target: 200 }, { duration: '5m', target: 500 }, { duration: '1m', target: 0 }],
thresholds: { http_req_duration: ['p(95)<300'], http_req_failed: ['rate<0.01'] } };
export default function () { http.get(`${BASE}/api/products?page=${Math.ceil(Math.random()*50)}`); sleep(1); }
Chạy k6 với threshold trong pipeline trước release lớn; so sánh với baseline lần trước để phát hiện suy giảm.
Nối tiếp: "Kết quả tốt nhưng production vẫn chậm." → Dữ liệu test quá nhỏ/cache quá nóng, thiếu phụ thuộc thật, mẫu truy cập khác.
Load test bằng một URL lặp lại; chỉ nhìn trung bình.
- Tôi trả lời được câu này mà không cần xem đáp án