Playwright + TypeScript Thực chiến
Trang chủ / Module 11
🔬 Module 11 / 15 · 1-2 tuần

Debugging & Diệt Flaky Test

Đọc trace như đọc hộp đen máy bay, quy trình tái hiện và chẩn đoán flaky theo nhóm nguyên nhân, cách sửa từng nhóm, và quy trình cách ly ở cấp đội.

Trace ViewerFlakyDebugRoot cause
📌 Vì sao module này quan trọng

Flaky test là kẻ thù số một của test automation, vì nó phá thứ duy nhất khiến bộ test có giá trị: niềm tin. Khi pipeline đỏ mà ai cũng nói "chắc lại flaky, chạy lại đi", bộ test đã thôi là lưới an toàn — và lỗi thật sẽ lọt qua trong một lần "chạy lại" như thế. Khoá Advanced QA (Module 6) bàn về flaky ở mức chiến lược; module này là sổ tay thực chiến với Playwright: công cụ nào, nhìn vào đâu, và sửa thế nào cho từng loại. Điều cần khắc ghi: flaky gần như luôn có nguyên nhân xác định — "ngẫu nhiên" chỉ là tên gọi của nguyên nhân chưa tìm ra.

🎯 Mục tiêu học tập

  • Dùng thành thạo Trace Viewer, UI Mode và Inspector để chẩn đoán
  • Tái hiện flaky một cách có hệ thống thay vì chạy lại và hy vọng
  • Phân loại flaky theo nhóm nguyên nhân và áp dụng cách sửa tương ứng
  • Phân biệt test flaky với ứng dụng flaky (lỗi sản phẩm thật)
  • Thiết lập quy trình đội: phát hiện, cách ly có thời hạn, sửa, và ngăn tái phát

Trace Viewer: hộp đen của test

Trace là bản ghi đầy đủ một lần chạy: từng hành động, ảnh chụp DOM trước và sau mỗi hành động (tương tác được, không phải ảnh tĩnh), mọi request mạng, log console, và mã nguồn test. Với trace, bạn debug được một lỗi chỉ xảy ra trên CI lúc 3 giờ sáng mà không cần tái hiện.

Khu vựcXem để trả lời
Dòng thời gian + danh sách hành độngHành động nào fail? Mất bao lâu? Bước nào chậm bất thường?
Ảnh chụp DOM (Before / Action / After)Lúc hành động xảy ra trang trông thế nào? Có lớp phủ che không? Phần tử có đúng cái mình định bấm?
Tab Call / LogPlaywright đã chờ điều kiện gì và điều kiện nào không đạt ("element is not stable", "intercepts pointer events")
Tab NetworkRequest nào chưa về, về chậm, hay trả lỗi lúc đó?
Tab Console / ErrorsỨng dụng có ném lỗi JavaScript không?
Tab Source / AttachmentsDòng code nào; file đính kèm của test
npx playwright show-trace test-results/checkout-coupon-chromium-retry1/trace.zip
npx playwright show-report                      # trace mở trực tiếp từ báo cáo HTML
# Hoặc kéo thả file vào https://trace.playwright.dev (xử lý ngay trong trình duyệt, không tải lên máy chủ)

Thói quen quan trọng nhất: khi test fail trên CI, mở trace trước khi mở code. Đọc thông báo lỗi trong log Playwright cẩn thận — nó thường nói chính xác vì sao hành động không thực hiện được.

Công cụ debug khi đang viết test

Công cụDùng khi
UI Mode (--ui)Viết và sửa test hằng ngày: xem trace trực tiếp, chế độ theo dõi tự chạy lại, chọn locator trên trang
Inspector (--debug hoặc await page.pause())Chạy từng bước, thử locator trực tiếp trên trang đang sống
Debug trong VS CodeĐặt breakpoint, xem biến, "Show browser"
--headed --workers=1 (thêm slowMo nếu cần)Nhìn bằng mắt điều gì đang xảy ra
DEBUG=pw:apiLog chi tiết mọi lời gọi Playwright
--trace onÉp ghi trace cho mọi test trong lần chạy này
testInfo.attach()Đính kèm dữ liệu chẩn đoán của riêng bạn (payload, trạng thái DB) vào báo cáo

Nhớ gỡ page.pause() trước khi commit — quy tắc lint playwright/no-page-pause làm việc đó hộ bạn.

Tái hiện flaky có hệ thống

  1. Thu thập bằng chứng trước: trace của lần fail, tần suất, có tương quan với gì (trình duyệt, shard, thời điểm, test chạy trước nó)?
  2. Chạy lặp một mình: npx playwright test path/to.spec.ts:42 --repeat-each=50 --workers=1. Fail → vấn đề nằm trong chính test hoặc ứng dụng.
  3. Chạy lặp song song: --repeat-each=50 --workers=8. Chỉ fail khi song song → xung đột dữ liệu hoặc thiếu tài nguyên.
  4. Chạy cùng hàng xóm: cả file, cả thư mục. Chỉ fail khi chạy cùng test khác → phụ thuộc thứ tự, trạng thái rò rỉ.
  5. Mô phỏng điều kiện CI: giảm CPU (throttling của DevTools qua CDP, hoặc chạy trong container giới hạn CPU), mạng chậm, đúng image Docker của CI.
  6. Thu hẹp: khi tái hiện được, bật --trace on và so sánh trace pass với trace fail — khác biệt đầu tiên thường chính là nguyên nhân.
💡 Kiểm tra test mới trước khi merge

Chạy mọi test mới hoặc vừa sửa với --repeat-each=20 trong CI của pull request (kết hợp --only-changed ở Module 13). Bắt flaky lúc nó mới sinh rẻ hơn rất nhiều so với săn nó ba tháng sau.

Bảng chẩn đoán: nguyên nhân và cách sửa

NhómDấu hiệu trong traceCách sửa
Chờ sai điều kiệnAssertion tức thời; waitForTimeout; đọc giá trị trước khi trang cập nhậtWeb-first assertion; chờ đúng dấu hiệu hoàn tất (Module 4)
Hydration / JS chưa gắn sự kiệnClick "thành công" nhưng không có gì xảy ra; nút đã hiện trước khi framework sẵn sàngChờ một dấu hiệu trang đã tương tác được; lý tưởng là frontend vô hiệu nút cho tới khi sẵn sàng. Đây thường là lỗi sản phẩm thật
Đua với mạngHành động diễn ra trước khi request cần thiết về; waitForResponse đăng ký sau hành độngĐăng ký chờ trước khi hành động; assert trên kết quả hiển thị
Animation / bố cục dịch chuyển"element is not stable"; click trúng phần tử khác do nội dung phía trên vừa tải đẩy xuốngTắt animation trong test (reducedMotion, CSS); chờ nội dung phía trên ổn định; sửa layout shift ở sản phẩm
Lớp phủ che"intercepts pointer events": toast, banner cookie, chat widgetaddLocatorHandler; chặn script bên thứ ba; chờ toast biến mất
Dữ liệu dùng chungChỉ fail khi song song; dữ liệu khác mong đợiDữ liệu riêng cho mỗi test; tài khoản theo worker (Module 7, 8)
Phụ thuộc thứ tựPass một mình, fail trong bộ (hoặc ngược lại)Mỗi test tự dựng trạng thái; bỏ biến dùng chung
Thời gianFail quanh nửa đêm, cuối tháng, đổi múi giờpage.clock cố định thời gian; cố định timezoneId
Thứ tự không xác địnhDanh sách về theo thứ tự khác nhauSắp xếp tường minh; assert không phụ thuộc thứ tự
Bên thứ baRequest tới dịch vụ ngoài chậm/lỗiMock hoặc chặn (Module 9)
Thiếu tài nguyênMọi thứ chậm đều; timeout rải rác nhiều test không liên quanGiảm worker; tăng máy; sharding
Môi trườngNhiều test fail cùng lúc ở bước đầu; lỗi 502/503Kiểm tra sức khoẻ môi trường trước khi chạy; maxFailures
Lỗi sản phẩm thậtTrace cho thấy ứng dụng hành xử sai: race condition, mất cập nhật, lỗi consoleBáo lỗi sản phẩm. Không "sửa test" bằng retry
// Tắt animation và cố định thời gian cho cả bộ test
// playwright.config.ts
use: { reducedMotion: 'reduce' }

// Trong fixture page (hoặc global CSS của môi trường test)
await page.addStyleTag({ content: '*, *::before, *::after { animation-duration: 0s !important; transition-duration: 0s !important; }' });

// Thời gian tất định
await page.clock.install({ time: new Date('2026-03-31T23:58:00+07:00') });
await page.goto('/dashboard');
await page.clock.fastForward('05:00');                 // sang ngày mới, sang tháng mới
await expect(page.getByTestId('billing-period')).toHaveText('Tháng 4/2026');

Những cách 'sửa' làm tình hình tệ hơn

Cách "sửa"Vì sao tệ
Thêm waitForTimeoutGiảm tần suất, không loại bỏ; làm chậm mọi lần chạy; che nguyên nhân
Tăng timeout toàn cụcChỉ có tác dụng với lỗi do chậm thật — và che luôn vấn đề hiệu năng
Tăng số retryTest vẫn flaky, chỉ là không ai thấy nữa; lỗi sản phẩm thật bị che
{ force: true } cho clickBỏ qua kiểm tra actionability: test bấm được thứ người dùng không bấm được
try/catch rồi thử lại thủ côngRetry tự chế, khó đọc, che lỗi
test.skip không ghi lý doMất độ phủ vĩnh viễn và âm thầm
Chạy tuần tự cả bộ testChe xung đột dữ liệu thay vì sửa; bộ test chậm dần đến mức không ai chạy

force: true có chỗ dùng hợp lệ nhưng rất hẹp (phần tử bị che có chủ đích bởi một lớp trang trí mà bạn không kiểm soát); mỗi lần dùng cần chú thích lý do.

Quy trình ở cấp đội

  1. Phát hiện tự động: thu kết quả mọi lần chạy (JSON/JUnit), tính cho mỗi test tỉ lệ "fail rồi pass khi retry" trong 14 ngày. Danh sách xếp hạng test flaky là đầu vào của mọi thứ sau.
  2. Chính sách không dung thứ có thời hạn: test vượt ngưỡng flaky (ví dụ 2%) được gắn @quarantine — vẫn chạy trong một job riêng không chặn pipeline, để tiếp tục có dữ liệu — kèm ticket, người chịu trách nhiệm, và hạn sửa (ví dụ một tuần).
  3. Hết hạn thì sửa hoặc xoá. Một test bị cách ly ba tháng không bảo vệ ai cả; nếu nó không đáng sửa thì nó không đáng tồn tại.
  4. Phân tích nguyên nhân gốc và chia sẻ: mỗi flaky được sửa ghi lại thuộc nhóm nào trong bảng chẩn đoán. Sau vài tháng bạn biết đội mình hay vấp ở đâu và chặn được từ gốc (thêm quy tắc lint, thêm fixture, sửa môi trường).
  5. Ai làm đỏ thì người đó xử lý: flaky là việc của cả đội phát triển, không phải của riêng QA — nhất là khi phần lớn nguyên nhân nằm ở sản phẩm và môi trường.
Chỉ sốMục tiêu tham khảo
Tỉ lệ lần chạy pipeline bị fail do flakyDưới 2-3%
Số test đang bị cách lyNhỏ và không tăng
Tuổi trung bình của test bị cách lyDưới 1-2 tuần
Thời gian từ khi phát hiện đến khi sửa xongGiảm dần

🏋️ Bài tập thực hành

Săn và diệt 5 flaky test

(1) Chạy toàn bộ bộ test 20 lần (trên CI nếu được), thu kết quả JSON, và viết một script nhỏ xếp hạng test theo tỉ lệ flaky. (2) Chọn 5 test đứng đầu. Với mỗi test: mở trace của một lần fail và một lần pass, tìm điểm khác biệt đầu tiên; tái hiện theo quy trình 6 bước; phân loại vào bảng chẩn đoán; sửa tận gốc; chứng minh bằng --repeat-each=100. Nếu nguyên nhân là lỗi sản phẩm, viết bug report kèm trace. (3) Cố ý viết ba test flaky thuộc ba nhóm khác nhau (đua với mạng, dữ liệu dùng chung, thời gian) để luyện nhận diện dấu hiệu trong trace. (4) Thiết lập tag @quarantine với job CI riêng không chặn pipeline. (5) Viết một trang "Chính sách flaky test" cho đội: ngưỡng, thời hạn, ai chịu trách nhiệm, và danh sách các cách sửa bị cấm.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Mở trace trước tiên khi test fail trên CI và đọc được cả năm khu vực của Trace Viewer
  • Tái hiện flaky theo quy trình: một mình, song song, cùng hàng xóm, điều kiện CI
  • Phân loại được một flaky vào đúng nhóm nguyên nhân và sửa tận gốc
  • Không dùng sleep, force, tăng timeout toàn cục hay tăng retry để 'sửa' flaky
  • Đội có danh sách xếp hạng flaky, quy trình cách ly có thời hạn, và chỉ số theo dõi