Debugging & Diệt Flaky Test
Đọc trace như đọc hộp đen máy bay, quy trình tái hiện và chẩn đoán flaky theo nhóm nguyên nhân, cách sửa từng nhóm, và quy trình cách ly ở cấp đội.
Flaky test là kẻ thù số một của test automation, vì nó phá thứ duy nhất khiến bộ test có giá trị: niềm tin. Khi pipeline đỏ mà ai cũng nói "chắc lại flaky, chạy lại đi", bộ test đã thôi là lưới an toàn — và lỗi thật sẽ lọt qua trong một lần "chạy lại" như thế. Khoá Advanced QA (Module 6) bàn về flaky ở mức chiến lược; module này là sổ tay thực chiến với Playwright: công cụ nào, nhìn vào đâu, và sửa thế nào cho từng loại. Điều cần khắc ghi: flaky gần như luôn có nguyên nhân xác định — "ngẫu nhiên" chỉ là tên gọi của nguyên nhân chưa tìm ra.
🎯 Mục tiêu học tập
- Dùng thành thạo Trace Viewer, UI Mode và Inspector để chẩn đoán
- Tái hiện flaky một cách có hệ thống thay vì chạy lại và hy vọng
- Phân loại flaky theo nhóm nguyên nhân và áp dụng cách sửa tương ứng
- Phân biệt test flaky với ứng dụng flaky (lỗi sản phẩm thật)
- Thiết lập quy trình đội: phát hiện, cách ly có thời hạn, sửa, và ngăn tái phát
Trace Viewer: hộp đen của test
Trace là bản ghi đầy đủ một lần chạy: từng hành động, ảnh chụp DOM trước và sau mỗi hành động (tương tác được, không phải ảnh tĩnh), mọi request mạng, log console, và mã nguồn test. Với trace, bạn debug được một lỗi chỉ xảy ra trên CI lúc 3 giờ sáng mà không cần tái hiện.
| Khu vực | Xem để trả lời |
|---|---|
| Dòng thời gian + danh sách hành động | Hành động nào fail? Mất bao lâu? Bước nào chậm bất thường? |
| Ảnh chụp DOM (Before / Action / After) | Lúc hành động xảy ra trang trông thế nào? Có lớp phủ che không? Phần tử có đúng cái mình định bấm? |
| Tab Call / Log | Playwright đã chờ điều kiện gì và điều kiện nào không đạt ("element is not stable", "intercepts pointer events") |
| Tab Network | Request nào chưa về, về chậm, hay trả lỗi lúc đó? |
| Tab Console / Errors | Ứng dụng có ném lỗi JavaScript không? |
| Tab Source / Attachments | Dòng code nào; file đính kèm của test |
npx playwright show-trace test-results/checkout-coupon-chromium-retry1/trace.zip
npx playwright show-report # trace mở trực tiếp từ báo cáo HTML
# Hoặc kéo thả file vào https://trace.playwright.dev (xử lý ngay trong trình duyệt, không tải lên máy chủ)
Thói quen quan trọng nhất: khi test fail trên CI, mở trace trước khi mở code. Đọc thông báo lỗi trong log Playwright cẩn thận — nó thường nói chính xác vì sao hành động không thực hiện được.
Công cụ debug khi đang viết test
| Công cụ | Dùng khi |
|---|---|
UI Mode (--ui) | Viết và sửa test hằng ngày: xem trace trực tiếp, chế độ theo dõi tự chạy lại, chọn locator trên trang |
Inspector (--debug hoặc await page.pause()) | Chạy từng bước, thử locator trực tiếp trên trang đang sống |
| Debug trong VS Code | Đặt breakpoint, xem biến, "Show browser" |
--headed --workers=1 (thêm slowMo nếu cần) | Nhìn bằng mắt điều gì đang xảy ra |
DEBUG=pw:api | Log chi tiết mọi lời gọi Playwright |
--trace on | Ép ghi trace cho mọi test trong lần chạy này |
testInfo.attach() | Đính kèm dữ liệu chẩn đoán của riêng bạn (payload, trạng thái DB) vào báo cáo |
Nhớ gỡ page.pause() trước khi commit — quy tắc lint playwright/no-page-pause
làm việc đó hộ bạn.
Tái hiện flaky có hệ thống
- Thu thập bằng chứng trước: trace của lần fail, tần suất, có tương quan với gì (trình duyệt, shard, thời điểm, test chạy trước nó)?
- Chạy lặp một mình:
npx playwright test path/to.spec.ts:42 --repeat-each=50 --workers=1. Fail → vấn đề nằm trong chính test hoặc ứng dụng. - Chạy lặp song song:
--repeat-each=50 --workers=8. Chỉ fail khi song song → xung đột dữ liệu hoặc thiếu tài nguyên. - Chạy cùng hàng xóm: cả file, cả thư mục. Chỉ fail khi chạy cùng test khác → phụ thuộc thứ tự, trạng thái rò rỉ.
- Mô phỏng điều kiện CI: giảm CPU (throttling của DevTools qua CDP, hoặc chạy trong container giới hạn CPU), mạng chậm, đúng image Docker của CI.
- Thu hẹp: khi tái hiện được, bật
--trace onvà so sánh trace pass với trace fail — khác biệt đầu tiên thường chính là nguyên nhân.
Chạy mọi test
mới hoặc vừa sửa với --repeat-each=20 trong CI của pull request (kết hợp
--only-changed ở Module 13). Bắt flaky lúc nó mới sinh rẻ hơn rất nhiều so với săn nó ba
tháng sau.
Bảng chẩn đoán: nguyên nhân và cách sửa
| Nhóm | Dấu hiệu trong trace | Cách sửa |
|---|---|---|
| Chờ sai điều kiện | Assertion tức thời; waitForTimeout; đọc giá trị trước khi trang cập nhật | Web-first assertion; chờ đúng dấu hiệu hoàn tất (Module 4) |
| Hydration / JS chưa gắn sự kiện | Click "thành công" nhưng không có gì xảy ra; nút đã hiện trước khi framework sẵn sàng | Chờ một dấu hiệu trang đã tương tác được; lý tưởng là frontend vô hiệu nút cho tới khi sẵn sàng. Đây thường là lỗi sản phẩm thật |
| Đua với mạng | Hành động diễn ra trước khi request cần thiết về; waitForResponse đăng ký sau hành động | Đăng ký chờ trước khi hành động; assert trên kết quả hiển thị |
| Animation / bố cục dịch chuyển | "element is not stable"; click trúng phần tử khác do nội dung phía trên vừa tải đẩy xuống | Tắt animation trong test (reducedMotion, CSS); chờ nội dung phía trên ổn định; sửa layout shift ở sản phẩm |
| Lớp phủ che | "intercepts pointer events": toast, banner cookie, chat widget | addLocatorHandler; chặn script bên thứ ba; chờ toast biến mất |
| Dữ liệu dùng chung | Chỉ fail khi song song; dữ liệu khác mong đợi | Dữ liệu riêng cho mỗi test; tài khoản theo worker (Module 7, 8) |
| Phụ thuộc thứ tự | Pass một mình, fail trong bộ (hoặc ngược lại) | Mỗi test tự dựng trạng thái; bỏ biến dùng chung |
| Thời gian | Fail quanh nửa đêm, cuối tháng, đổi múi giờ | page.clock cố định thời gian; cố định timezoneId |
| Thứ tự không xác định | Danh sách về theo thứ tự khác nhau | Sắp xếp tường minh; assert không phụ thuộc thứ tự |
| Bên thứ ba | Request tới dịch vụ ngoài chậm/lỗi | Mock hoặc chặn (Module 9) |
| Thiếu tài nguyên | Mọi thứ chậm đều; timeout rải rác nhiều test không liên quan | Giảm worker; tăng máy; sharding |
| Môi trường | Nhiều test fail cùng lúc ở bước đầu; lỗi 502/503 | Kiểm tra sức khoẻ môi trường trước khi chạy; maxFailures |
| Lỗi sản phẩm thật | Trace cho thấy ứng dụng hành xử sai: race condition, mất cập nhật, lỗi console | Báo lỗi sản phẩm. Không "sửa test" bằng retry |
// Tắt animation và cố định thời gian cho cả bộ test
// playwright.config.ts
use: { reducedMotion: 'reduce' }
// Trong fixture page (hoặc global CSS của môi trường test)
await page.addStyleTag({ content: '*, *::before, *::after { animation-duration: 0s !important; transition-duration: 0s !important; }' });
// Thời gian tất định
await page.clock.install({ time: new Date('2026-03-31T23:58:00+07:00') });
await page.goto('/dashboard');
await page.clock.fastForward('05:00'); // sang ngày mới, sang tháng mới
await expect(page.getByTestId('billing-period')).toHaveText('Tháng 4/2026');
Những cách 'sửa' làm tình hình tệ hơn
| Cách "sửa" | Vì sao tệ |
|---|---|
Thêm waitForTimeout | Giảm tần suất, không loại bỏ; làm chậm mọi lần chạy; che nguyên nhân |
| Tăng timeout toàn cục | Chỉ có tác dụng với lỗi do chậm thật — và che luôn vấn đề hiệu năng |
| Tăng số retry | Test vẫn flaky, chỉ là không ai thấy nữa; lỗi sản phẩm thật bị che |
{ force: true } cho click | Bỏ qua kiểm tra actionability: test bấm được thứ người dùng không bấm được |
try/catch rồi thử lại thủ công | Retry tự chế, khó đọc, che lỗi |
test.skip không ghi lý do | Mất độ phủ vĩnh viễn và âm thầm |
| Chạy tuần tự cả bộ test | Che xung đột dữ liệu thay vì sửa; bộ test chậm dần đến mức không ai chạy |
force: true có chỗ dùng hợp lệ nhưng rất hẹp (phần tử bị che có chủ đích bởi một lớp trang
trí mà bạn không kiểm soát); mỗi lần dùng cần chú thích lý do.
Quy trình ở cấp đội
- Phát hiện tự động: thu kết quả mọi lần chạy (JSON/JUnit), tính cho mỗi test tỉ lệ "fail rồi pass khi retry" trong 14 ngày. Danh sách xếp hạng test flaky là đầu vào của mọi thứ sau.
- Chính sách không dung thứ có thời hạn: test vượt ngưỡng flaky (ví dụ 2%) được gắn
@quarantine— vẫn chạy trong một job riêng không chặn pipeline, để tiếp tục có dữ liệu — kèm ticket, người chịu trách nhiệm, và hạn sửa (ví dụ một tuần). - Hết hạn thì sửa hoặc xoá. Một test bị cách ly ba tháng không bảo vệ ai cả; nếu nó không đáng sửa thì nó không đáng tồn tại.
- Phân tích nguyên nhân gốc và chia sẻ: mỗi flaky được sửa ghi lại thuộc nhóm nào trong bảng chẩn đoán. Sau vài tháng bạn biết đội mình hay vấp ở đâu và chặn được từ gốc (thêm quy tắc lint, thêm fixture, sửa môi trường).
- Ai làm đỏ thì người đó xử lý: flaky là việc của cả đội phát triển, không phải của riêng QA — nhất là khi phần lớn nguyên nhân nằm ở sản phẩm và môi trường.
| Chỉ số | Mục tiêu tham khảo |
|---|---|
| Tỉ lệ lần chạy pipeline bị fail do flaky | Dưới 2-3% |
| Số test đang bị cách ly | Nhỏ và không tăng |
| Tuổi trung bình của test bị cách ly | Dưới 1-2 tuần |
| Thời gian từ khi phát hiện đến khi sửa xong | Giảm dần |
🏋️ Bài tập thực hành
(1) Chạy toàn bộ bộ test 20 lần (trên CI nếu được), thu kết quả JSON, và viết một script nhỏ xếp
hạng test theo tỉ lệ flaky. (2) Chọn 5 test đứng đầu. Với mỗi test: mở trace của một lần fail và một lần
pass, tìm điểm khác biệt đầu tiên; tái hiện theo quy trình 6 bước; phân loại vào bảng chẩn đoán; sửa tận
gốc; chứng minh bằng --repeat-each=100. Nếu nguyên nhân là lỗi sản phẩm, viết bug report kèm
trace. (3) Cố ý viết ba test flaky thuộc ba nhóm khác nhau (đua với mạng, dữ liệu dùng chung, thời gian) để
luyện nhận diện dấu hiệu trong trace. (4) Thiết lập tag @quarantine với job CI riêng không chặn
pipeline. (5) Viết một trang "Chính sách flaky test" cho đội: ngưỡng, thời hạn, ai chịu trách nhiệm, và danh
sách các cách sửa bị cấm.
📚 Tài nguyên học tập
-
Playwright — Trace viewerGhi, mở và đọc traceDocs
-
Playwright — Debugging testsInspector, VS Code debugger, page.pause, log chi tiếtDocs
-
Playwright — UI ModeMôi trường viết và debug test tương tácDocs
-
Playwright — ClockĐiều khiển thời gian trong testDocs
-
Google Testing Blog — Flaky Tests at Google and How We Mitigate ThemKinh nghiệm xử lý flaky ở quy mô rất lớnBài viết
-
Martin Fowler — Eradicating Non-Determinism in TestsCác nguồn không tất định và cách cách ly test flakyBài viết
✅ Tự đánh giá hoàn thành
- Mở trace trước tiên khi test fail trên CI và đọc được cả năm khu vực của Trace Viewer
- Tái hiện flaky theo quy trình: một mình, song song, cùng hàng xóm, điều kiện CI
- Phân loại được một flaky vào đúng nhóm nguyên nhân và sửa tận gốc
- Không dùng sleep, force, tăng timeout toàn cục hay tăng retry để 'sửa' flaky
- Đội có danh sách xếp hạng flaky, quy trình cách ly có thời hạn, và chỉ số theo dõi