DevOps Engineering
Trang chủ / Module 11
🚨 Module 11 / 13 · 1-2 tuần

SRE Practices — SLI/SLO, Incident Management

Định nghĩa SLI/SLO/SLA và error budget, quy trình incident management, blameless postmortem, và văn hoá on-call bền vững.

SRESLOOn-call
📌 Vì sao module này quan trọng

Chạy được hệ thống khác với vận hành hệ thống đáng tin cậy có chủ đích, đo lường được. Thực hành SRE biến "độ tin cậy" từ một khái niệm mơ hồ thành số liệu cụ thể có thể ra quyết định dựa trên đó — kỹ năng phân biệt DevOps Engineer cấp Senior với người chỉ biết vận hành công cụ.

🎯 Mục tiêu học tập

  • Định nghĩa đúng SLI, SLO, SLA và error budget cho 1 dịch vụ cụ thể
  • Vận hành quy trình incident management có cấu trúc: phát hiện, ứng phó, khôi phục
  • Viết blameless postmortem đúng chuẩn sau sự cố
  • Thiết kế văn hoá on-call bền vững, tránh burnout

SLI, SLO, SLA, Error Budget

Khái niệmĐịnh nghĩaVí dụ
SLI (Service Level Indicator)Số liệu đo lường thực tếTỉ lệ request thành công trong 5 phút gần nhất
SLO (Service Level Objective)Mục tiêu nội bộ team đặt ra cho SLI99.9% request thành công trong 30 ngày
SLA (Service Level Agreement)Cam kết với khách hàng, thường kèm hậu quả hợp đồng nếu vi phạm (khác SLO đã học ở khoá IT Support, Module 1 — SLA đó là giữa Service Desk và người dùng nội bộ)Cam kết 99.5% uptime, hoàn tiền nếu không đạt
Error BudgetLượng "cho phép lỗi" còn lại = 100% - SLOSLO 99.9% → error budget 0.1% (~43 phút downtime/tháng)

Error budget là công cụ ra quyết định mạnh mẽ: còn nhiều error budget → team tự do deploy nhanh, thử nghiệm táo bạo hơn; error budget gần cạn → ưu tiên chuyển sang ổn định hệ thống, tạm hoãn tính năng mới cho đến khi budget hồi phục. Đây là cách SRE cân bằng giữa tốc độ (Module 1-3) và độ ổn định một cách định lượng, không phải tranh cãi cảm tính giữa Dev và Ops.

Quy trình Incident Management

  1. Phát hiện (Detect): alert tự động từ hệ thống observability (Module 7) — càng phát hiện sớm, thiệt hại càng nhỏ.
  2. Phân loại mức độ nghiêm trọng (Triage): SEV1 (ảnh hưởng toàn bộ người dùng) đến SEV4 (ảnh hưởng nhỏ, không khẩn cấp) — mức độ quyết định quy trình ứng phó tương ứng.
  3. Chỉ định Incident Commander: 1 người điều phối duy nhất cho sự cố nghiêm trọng — tránh tình trạng nhiều người cùng "sửa" không phối hợp, dễ làm tình hình tệ hơn.
  4. Giao tiếp minh bạch: cập nhật định kỳ cho stakeholder (status page, kênh nội bộ) dù chưa có giải pháp — im lặng trong lúc sự cố gây mất niềm tin nhiều hơn cả sự cố.
  5. Khôi phục dịch vụ trước, tìm nguyên nhân gốc rễ sau: rollback (Module 3) hoặc failover thường nhanh hơn debug tìm nguyên nhân thật giữa lúc production đang lỗi — ưu tiên khôi phục trước, điều tra sâu là việc của Problem Management/Postmortem sau đó (liên hệ khoá IT Support Module 9).

Blameless Postmortem

Sau mỗi sự cố nghiêm trọng, viết postmortem theo văn hoá blameless — tập trung vào "hệ thống/quy trình nào đã cho phép lỗi xảy ra" thay vì "ai đã gây ra lỗi". Cấu trúc chuẩn:

  • Timeline chi tiết: thời điểm phát hiện, các hành động đã thực hiện, thời điểm khôi phục hoàn toàn
  • Tác động: bao nhiêu người dùng/doanh thu bị ảnh hưởng, thời gian downtime
  • Nguyên nhân gốc rễ (root cause): không dừng ở "code bị lỗi" — đào sâu đến "vì sao lỗi này không bị bắt trong quá trình test/review"
  • Action items cụ thể: mỗi action có người chịu trách nhiệm, deadline rõ ràng — không để postmortem chỉ là "viết cho có" rồi không ai theo dõi thực hiện
💡 Vì sao Blameless quan trọng

Văn hoá đổ lỗi khiến người liên quan che giấu chi tiết vì sợ bị trừng phạt — thông tin không đầy đủ khiến nguyên nhân gốc rễ thật sự không bao giờ được tìm ra, và sự cố tương tự lặp lại. Blameless không có nghĩa là không có trách nhiệm — nó nghĩa là trách nhiệm nằm ở việc cải thiện hệ thống, không phải trừng phạt cá nhân.

Văn hoá On-call bền vững

  • Luân phiên công bằng: lịch on-call rõ ràng, không dồn vào 1-2 người liên tục
  • Bù thời gian nghỉ sau ca on-call có sự cố nghiêm trọng ban đêm — không mong đợi làm việc bình thường ngày hôm sau như chưa có gì xảy ra
  • Alert phải actionable: mọi alert đánh thức người on-call giữa đêm phải là vấn đề thực sự cần hành động ngay — alert "ồn ào" (nhiều false positive) dẫn đến alert fatigue, người on-call dần bỏ qua cả alert thật quan trọng.
  • Runbook rõ ràng cho các sự cố thường gặp — giảm tải nhận thức lúc nửa đêm, không phải tự nghĩ từ đầu cách xử lý mỗi lần.

🏋️ Bài tập thực hành

Định nghĩa SLO & Viết Postmortem mẫu

Chọn 1 dịch vụ bạn đã xây ở các khoá học trước (RAG API, ứng dụng Laravel...), định nghĩa 2-3 SLI phù hợp và đặt SLO cụ thể cho từng SLI, tính error budget tương ứng. Viết 1 bản postmortem mẫu (giả lập 1 sự cố) theo đúng cấu trúc blameless đã học, với timeline, tác động, root cause, và action items cụ thể có người chịu trách nhiệm.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Định nghĩa đúng SLI/SLO và tính được error budget cho 1 dịch vụ cụ thể
  • Mô tả được đầy đủ quy trình incident management 5 bước
  • Viết được 1 bản postmortem đúng chuẩn blameless
  • Giải thích được 4 nguyên tắc xây dựng văn hoá on-call bền vững