Sự cố production, on-call & postmortem
Giao tiếp dưới áp lực: báo động sự cố, cập nhật trên "incident bridge", nhờ trợ giúp, viết status update cho khách hàng theo 4 giai đoạn, và viết postmortem blameless có timeline, root cause, 5 whys và action items.
Sự cố là lúc tiếng Anh của bạn bị thử thách nhiều nhất: căng thẳng, nói nhanh, nhiều người, có cả lãnh đạo. Giao tiếp rõ ràng lúc đó quan trọng không kém sửa lỗi — báo sai mức độ, quên cập nhật, hay nói đổ lỗi đều làm tình hình tệ hơn. Postmortem viết tốt là tài liệu thể hiện tư duy senior rõ nhất, và là câu chuyện tuyệt vời cho phỏng vấn hành vi (Module 18).
🎯 Mục tiêu học tập
- Báo động sự cố với đủ thông tin: triệu chứng, phạm vi, mức độ
- Giao tiếp ngắn gọn trên incident call theo vai trò
- Viết status update theo 4 giai đoạn: Investigating → Identified → Monitoring → Resolved
- Viết postmortem blameless: timeline, root cause, 5 whys, action items
Bấm 🔊 cạnh mỗi câu để nghe, nói theo 3 lần. Với hội thoại, bấm ▶ Nghe cả đoạn. Lần đọc thứ hai, bật 🙈 Làm mờ tiếng Việt ở thanh bên để tự dịch trong đầu trước khi xem nghĩa (chạm vào chữ mờ để hiện).
Báo động & giao tiếp trên incident call
| Mẫu câu tiếng Anh | Nghĩa & khi nào dùng |
|---|---|
| I'm declaring an incident. Checkout is returning 500s for about 20% of users. | Tuyên bố sự cố. Checkout trả lỗi 500 cho ~20% người dùng. |
| We're seeing elevated error rates on the payment service since 14:05. | Tỷ lệ lỗi tăng ở payment service từ 14:05. |
| Impact seems limited to EU customers. | Ảnh hưởng có vẻ chỉ ở khách hàng châu Âu. |
| I'll be incident commander. Linh, can you handle comms? | Tôi điều phối sự cố. Linh lo phần thông báo nhé? |
| What changed in the last hour? Any deploys? | Một giờ qua có gì thay đổi? Có deploy nào không? |
| I'm going to roll back the 13:50 deploy. Any objections? | Tôi sẽ rollback bản deploy 13:50. Có ai phản đối không? |
| Rollback is done. Error rate is going down. Monitoring. | Rollback xong. Lỗi đang giảm. Đang theo dõi. |
| Can I get a second pair of eyes on the database metrics? | Ai xem cùng tôi metric database được không? |
| Let's keep this channel for updates only. Discussion in the thread, please. | Kênh này chỉ để cập nhật. Thảo luận trong thread. |
| Next update in 15 minutes. | Cập nhật tiếp sau 15 phút. |
| We've mitigated the issue, but we haven't found the root cause yet. | Đã giảm thiểu nhưng chưa tìm ra nguyên nhân gốc. |
| All clear. Closing the incident. Postmortem to follow. | Ổn định. Đóng sự cố. Sẽ có postmortem. |
Mitigate = giảm/chặn tác động (rollback, tắt feature flag, scale up). Fix = sửa nguyên nhân gốc. Trong sự cố, ưu tiên mitigate trước: Let's stop the bleeding first, then figure out the root cause.
Hội thoại: incident bridge
Okay everyone, I'm IC for this one. Quick summary: since about 14:05, around 20% of checkout attempts are failing with a 500. Linh, you're on comms. Tom, can you check recent deploys?
Mọi người, tôi là IC. Tóm tắt: từ 14:05, ~20% lượt thanh toán lỗi 500. Linh lo thông báo. Tom kiểm tra các deploy gần đây nhé?
There was a deploy to the pricing service at 13:50. It changed the currency conversion.
Có bản deploy pricing service lúc 13:50, thay đổi phần quy đổi tiền tệ.
That lines up with EU-only impact. I'm going to roll it back. Any objections? ... Okay, rolling back now.
Khớp với việc chỉ ảnh hưởng EU. Tôi sẽ rollback. Có ai phản đối không? ... Ok, đang rollback.
I'll post an update to the status page: investigating, payments degraded for some EU customers.
Em sẽ đăng lên status page: đang điều tra, thanh toán bị ảnh hưởng với một số khách EU.
Rollback's complete. Error rate's dropping — down to 2% now. Let's monitor for 15 minutes before we call it.
Rollback xong. Lỗi đang giảm — còn 2%. Theo dõi 15 phút rồi mới kết luận.
Confirmed, back to baseline. I'll grab the logs from the failed requests for the postmortem.
Xác nhận, đã về mức bình thường. Tôi lấy log các request lỗi cho postmortem.
Thanks, all. I'm closing the incident. I'll schedule the postmortem for tomorrow.
Cảm ơn mọi người. Đóng sự cố. Mai tôi lên lịch họp postmortem.
Status update cho khách hàng (4 giai đoạn)
| Giai đoạn | Mẫu cập nhật |
|---|---|
| 🔍 Investigating | We're investigating reports of failed payments for some customers in Europe. We'll provide an update within 30 minutes. |
| 🎯 Identified | We've identified the cause as a recent configuration change and are rolling it back. |
| 👀 Monitoring | A fix has been applied and payments are succeeding again. We're monitoring to make sure the issue is fully resolved. |
| ✅ Resolved | This incident has been resolved. Between 14:05 and 14:32 UTC, about 20% of payments from EU customers failed. No customers were charged twice. We apologise for the disruption and will share a full report. |
Postmortem blameless
| Đừng nói | Hãy nói | Vì sao |
|---|---|---|
| ❌ Tom deployed a bad change and broke checkout. | ✅ A change to the currency conversion logic was deployed at 13:50, which caused checkout failures for EU customers. | Mô tả sự kiện và hệ thống, không nêu tên người có lỗi. |
| ❌ QA didn't test it properly. | ✅ Our test suite didn't cover non-USD currencies, so the issue wasn't caught before production. | Tìm lỗ hổng quy trình. |
| ❌ Human error. | ✅ The deploy process allowed a config change to reach production without a staged rollout. | "Human error" không bao giờ là root cause. |
Title: Checkout failures for EU customers — Oct 22, 2026 Severity: SEV-2 Duration: 27 minutes Authors: Minh, Tom Status: Action items in progress Summary Between 14:05 and 14:32 UTC, ~20% of checkout attempts from EU customers failed with HTTP 500. Impact ~1,200 failed checkouts; estimated $18k in delayed revenue. No double charges. Timeline (UTC) 13:50 Pricing service v3.8 deployed 14:05 Error-rate alert fires for checkout 14:09 Incident declared; Minh as IC 14:18 Deploy at 13:50 identified as likely cause; rollback started 14:24 Rollback complete; error rate dropping 14:32 Metrics back to baseline; incident resolved Root cause The new conversion logic returned null for currencies without a cached rate, which the checkout service didn't handle. 5 whys 1. Why did checkout fail? → It received a null price. 2. Why null? → The rate cache had no entry for some EUR pairs. 3. Why no entry? → The new code skipped the fallback to the rate API. 4. Why wasn't it caught? → Tests only covered USD. 5. Why did it reach all EU users at once? → No canary stage for the pricing service. What went well - Alert fired within 15 minutes; rollback took 6 minutes. What went wrong - No canary deploy; no test coverage for non-USD currencies. Action items | Action | Owner | Due | | Add multi-currency tests to the pricing suite | Tom | Oct 29 | | Add a canary stage (5%) for pricing deploys | Minh | Nov 5 | | Handle null prices defensively in checkout | Linh | Oct 27 |
Tự kiểm tra
1 Tuyên bố sự cố: API đăng nhập chậm, ~30% request timeout từ 9:10
I'm declaring an incident. Since 9:10, about 30% of login requests are timing out.
2 Đề xuất rollback, hỏi phản đối
I'm going to roll back the last deploy. Any objections?
3 Cập nhật: đã giảm thiểu, chưa tìm ra nguyên nhân gốc
We've mitigated the issue, but we haven't found the root cause yet. Next update in 15 minutes.
4 Viết blameless: "Nam quên chạy migration."
The deploy went out without the database migration, because our pipeline doesn't run migrations automatically.
🏋️ Bài tập thực hành
Chọn một sự cố bạn từng trải qua (hoặc lấy từ một public postmortem như GitLab 2017, Cloudflare). Viết postmortem đầy đủ theo template bằng tiếng Anh, viết blameless. Sau đó ghi âm 3 phút trình bày nó như trong buổi họp postmortem. Đây cũng chính là câu chuyện "Tell me about a time something went wrong in production" cho Module 18.
🎙️ Phòng luyện nói
Chọn một đề, bấm ghi âm, nói 1-3 phút không nhìn ghi chú, rồi nghe lại. Tự chấm: rõ ý chưa? âm cuối có bật không? có dùng mẫu câu trong module không? Bản ghi chỉ nằm trên trình duyệt của bạn, không gửi đi đâu.
- Declare an incident and assign roles in under 30 seconds.
- Give a status update to a VP who just joined the incident call.
- Present a postmortem in three minutes: summary, impact, root cause, action items.
📚 Tài nguyên học tập
-
Google SRE — Postmortem CultureVăn hoá postmortem blamelessSách
-
Atlassian Incident Management HandbookVai trò, quy trình, mẫu giao tiếp sự cốGuide
-
danluu/post-mortemsTuyển tập postmortem công khai — đọc để học cách viếtĐọc
✅ Tự đánh giá hoàn thành
- Báo động sự cố có đủ triệu chứng, phạm vi, thời điểm
- Giao tiếp ngắn gọn theo vai trò trên incident call
- Viết status update 4 giai đoạn cho khách hàng
- Viết postmortem blameless có 5 whys và action items có owner