CI/CD, Sharding & Báo cáo
Chạy Playwright trong CI: image Docker, GitHub Actions hoàn chỉnh, sharding và gộp báo cáo, chỉ chạy test liên quan đến thay đổi, lưu artifact, và báo cáo cho đúng người.
Một bộ test chỉ chạy trên máy của QA là một bộ test không tồn tại. Giá trị của automation đến từ việc nó chạy tự động, trên mọi thay đổi, đủ nhanh để người ta chờ, và báo kết quả ở nơi người ta nhìn. Phần này dùng lại kiến thức từ khoá DevOps và Docker, tập trung vào đặc thù của Playwright: trình duyệt cần thư viện hệ thống, artifact (trace, video) nặng, và sharding để giữ thời gian phản hồi dưới 10 phút khi bộ test lớn dần.
🎯 Mục tiêu học tập
- Chạy Playwright ổn định trong CI bằng image Docker chính thức với phiên bản được ghim
- Viết workflow GitHub Actions hoàn chỉnh: cài đặt, chạy, lưu artifact, báo cáo
- Chia bộ test thành shard chạy song song và gộp thành một báo cáo
- Rút ngắn phản hồi bằng chọn test theo thay đổi và tầng chạy
- Cấu hình reporter và kênh thông báo phù hợp cho từng đối tượng
Môi trường chạy: image Docker và ghim phiên bản
Trình duyệt của Playwright cần nhiều thư viện hệ thống, và mỗi phiên bản Playwright đi kèm một bản trình duyệt cụ thể. Cách đáng tin cậy nhất là dùng image chính thức, cùng phiên bản với gói npm:
# Trong CI
container:
image: mcr.microsoft.com/playwright:v1.56.0-noble # PHẢI khớp phiên bản @playwright/test trong package.json
# Chạy cục bộ trong đúng môi trường của CI (bắt buộc khi tạo baseline ảnh chụp)
docker run --rm -it --ipc=host -v "$PWD":/work -w /work \
mcr.microsoft.com/playwright:v1.56.0-noble \
npx playwright test --update-snapshots --grep @visual
- Ghim phiên bản chính xác trong
package.json(không dùng^) và commit lockfile. Nâng cấp Playwright là một thay đổi có chủ đích: đổi cả gói npm lẫn tag image trong cùng một PR, đọc ghi chú phát hành, và tạo lại baseline ảnh nếu trình duyệt đổi phiên bản. --ipc=hosttránh Chromium hết bộ nhớ dùng chung trong container.- Không dùng image thì chạy
npx playwright install --with-depstrong CI và cache thư mục trình duyệt theo phiên bản Playwright — chậm hơn và kém nhất quán hơn dùng image. - Chạy test bằng người dùng không phải root khi có thể; nếu chạy root, Chromium cần tắt sandbox — chỉ chấp nhận được khi test trang web tin cậy.
Workflow GitHub Actions hoàn chỉnh
# .github/workflows/e2e.yml
name: E2E
on:
pull_request:
push:
branches: [main]
concurrency:
group: e2e-${{ github.ref }}
cancel-in-progress: true # commit mới đẩy lên thì huỷ lần chạy cũ
jobs:
test:
timeout-minutes: 30
runs-on: ubuntu-latest
container:
image: mcr.microsoft.com/playwright:v1.56.0-noble
strategy:
fail-fast: false # một shard fail không huỷ các shard khác
matrix:
shard: [1, 2, 3, 4]
env:
BASE_URL: ${{ vars.STAGING_URL }}
TEST_USER_PASSWORD: ${{ secrets.TEST_USER_PASSWORD }}
TEST_ADMIN_TOKEN: ${{ secrets.TEST_ADMIN_TOKEN }}
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with: { node-version: 22, cache: npm }
- run: npm ci
- run: npm run check # tsc --noEmit + eslint: fail sớm, rẻ
- run: npx playwright test --shard=${{ matrix.shard }}/${{ strategy.job-total }}
- uses: actions/upload-artifact@v4
if: ${{ !cancelled() }} # tải lên cả khi test fail
with:
name: blob-report-${{ matrix.shard }}
path: blob-report
retention-days: 3
report:
if: ${{ !cancelled() }}
needs: test
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with: { node-version: 22, cache: npm }
- run: npm ci
- uses: actions/download-artifact@v4
with: { path: all-blob-reports, pattern: blob-report-*, merge-multiple: true }
- run: npx playwright merge-reports --reporter html ./all-blob-reports
- uses: actions/upload-artifact@v4
with: { name: html-report, path: playwright-report, retention-days: 14 }
| Chi tiết | Vì sao |
|---|---|
if: !cancelled() ở bước tải artifact | Mặc định bước sau bị bỏ qua khi bước trước fail — đúng lúc bạn cần trace nhất |
fail-fast: false | Muốn thấy toàn bộ kết quả, không dừng ở shard fail đầu tiên |
concurrency + cancel-in-progress | Tiết kiệm tài nguyên CI, tránh hai lần chạy cùng đụng dữ liệu |
timeout-minutes | Job treo không ngốn phút CI vô hạn |
Bí mật qua secrets | Không bao giờ nằm trong repo hay log; cẩn thận trace có thể chứa token — giới hạn thời gian lưu và quyền xem artifact |
| Lint và type-check trước | Fail trong 30 giây thay vì sau 10 phút chạy test |
Sharding và gộp báo cáo
Worker song song hoá trong một máy; shard chia bộ test ra nhiều máy.
Mỗi shard chạy độc lập và xuất báo cáo dạng blob; bước cuối gộp thành một báo cáo HTML duy nhất.
npx playwright test --shard=2/4 # shard thứ 2 trong 4
npx playwright merge-reports --reporter html,junit ./all-blob-reports
| Câu hỏi | Hướng dẫn |
|---|---|
| Bao nhiêu shard? | Bắt đầu từ mục tiêu thời gian: tổng thời gian tuần tự ÷ (số worker × mục tiêu). Đo lại định kỳ khi bộ test lớn lên |
| Shard lệch nhau (cái 3 phút, cái 12 phút)? | Bật fullyParallel — khi đó Playwright chia theo từng test thay vì từng file, cân bằng hơn nhiều. Tách các file quá lớn |
| Setup project với sharding? | Mỗi shard tự chạy setup của nó — đảm bảo setup rẻ và không xung đột giữa các shard (tài khoản riêng theo shard/worker) |
| Nhiều shard cùng bắn vào một môi trường? | Tổng tải = shard × worker. Môi trường test phải chịu được, và dữ liệu phải cô lập (Module 8) |
Sharding cắt thời gian chờ nhưng tăng tổng số phút máy. Trước khi thêm shard, hãy hỏi liệu có đang chạy quá nhiều test ở tầng đắt nhất không — chuyển kiểm tra logic xuống API test thường hiệu quả hơn mua thêm máy.
Phản hồi nhanh: chạy đúng thứ cần chạy
# Chỉ chạy các file test bị thay đổi (hoặc phụ thuộc vào file bị thay đổi) so với nhánh chính
npx playwright test --only-changed=origin/main
# Kiểm tra độ ổn định của test mới/vừa sửa ngay trong PR
npx playwright test --only-changed=origin/main --repeat-each=10 --retries=0
# Chạy lại chỉ những test vừa fail
npx playwright test --last-failed
| Sự kiện | Chạy gì | Chặn merge? |
|---|---|---|
| Mỗi PR — luôn luôn | Lint + type-check; test bị thay đổi × lặp; tầng smoke | Có |
| Mỗi PR — đầy đủ | API + E2E Chromium, có sharding | Có |
| Sau merge vào nhánh chính | Toàn bộ, đa trình duyệt, visual | Không chặn, nhưng fail thì phải xử lý ngay |
| Sau mỗi lần triển khai | Smoke trên môi trường vừa triển khai | Fail thì tự lùi phiên bản |
| Hằng đêm | Toàn bộ + test chậm + cách ly | Không |
- Test trên môi trường xem trước của PR (preview deployment) là mô hình mạnh nhất: mỗi PR có môi trường riêng, dữ liệu riêng, không ai dẫm lên ai.
- Kiểm tra sức khoẻ môi trường trước khi chạy: một request tới
/healthztiết kiệm 20 phút và 300 test đỏ vô nghĩa khi staging đang sập. - Lưu ý với
--only-changed: nó nhìn vào file test và các file chúng import, không biết gì về thay đổi trong mã ứng dụng. Dùng nó để bổ sung phản hồi nhanh, không thay cho lần chạy đầy đủ.
Reporter và báo cáo cho đúng người
| Reporter | Dùng cho |
|---|---|
list / line / dot | Terminal khi chạy cục bộ / log CI gọn |
html | Báo cáo chính để điều tra: lọc, xem trace, ảnh, video |
blob | Trung gian để gộp các shard |
junit | Tích hợp với hệ thống CI và công cụ quản lý test |
json | Phân tích riêng: xu hướng, tỉ lệ flaky, thời lượng |
github | Chú thích lỗi ngay trên diff của PR |
| Reporter tuỳ biến / bên thứ ba | Gửi Slack, đẩy kết quả lên dashboard (Allure, ReportPortal...) |
// reporters/slack.reporter.ts — reporter tuỳ biến tối giản
import type { Reporter, FullResult, TestCase, TestResult } from '@playwright/test/reporter';
export default class SlackReporter implements Reporter {
private failed: string[] = [];
private flaky: string[] = [];
onTestEnd(test: TestCase, result: TestResult) {
if (test.outcome() === 'unexpected' && result.retry === test.retries) this.failed.push(test.titlePath().slice(1).join(' › '));
if (test.outcome() === 'flaky') this.flaky.push(test.title);
}
async onEnd(result: FullResult) {
if (!this.failed.length && !this.flaky.length) return; // xanh thì im lặng
await postToSlack({
status: result.status,
failed: this.failed.slice(0, 10),
flakyCount: this.flaky.length,
reportUrl: process.env.REPORT_URL,
});
}
}
| Đối tượng | Cần thấy gì | Ở đâu |
|---|---|---|
| Người viết PR | Test nào fail, vì sao, trace ở đâu — trong vài phút | Check của PR + liên kết báo cáo HTML |
| Cả đội | Nhánh chính đang xanh hay đỏ; ai đang xử lý | Kênh chat — chỉ báo khi đỏ và khi xanh trở lại |
| Trưởng nhóm / quản lý | Xu hướng: tỉ lệ pass, tỉ lệ flaky, thời gian chạy, lỗi bắt được trước production | Dashboard định kỳ |
Nguyên tắc thông báo: ít và có hành động. Một kênh chat nhận 50 tin "E2E passed" mỗi ngày sẽ bị tắt tiếng, và tin "E2E failed" quan trọng sẽ chìm theo.
🏋️ Bài tập thực hành
(1) Ghim phiên bản Playwright và chạy toàn bộ bộ test cục bộ trong image Docker chính thức; sửa
mọi khác biệt so với chạy trực tiếp trên máy. (2) Viết workflow CI: lint + type-check → test có sharding →
gộp báo cáo HTML → lưu artifact kể cả khi fail. (3) Đo thời gian với 1, 2, 4 shard; chọn cấu hình đạt mục
tiêu dưới 10 phút cho PR. (4) Thêm job chạy --only-changed × 10 lần cho test mới/sửa. (5) Thêm
job smoke chạy sau khi triển khai lên staging, có kiểm tra sức khoẻ trước. (6) Cấu hình bảo vệ nhánh: PR
không merge được khi E2E đỏ. (7) Viết reporter gửi thông báo chat chỉ khi fail, kèm liên kết báo cáo và tên
10 test đầu. (8) Xuất báo cáo JSON, lưu lại 2 tuần, viết script tính thời gian chạy trung bình và 10 test
chậm nhất — dùng làm đầu vào cho việc tối ưu.
📚 Tài nguyên học tập
-
Playwright — Continuous IntegrationCấu hình mẫu cho GitHub Actions, GitLab, Jenkins, Azure Pipelines và các CI khácDocs
-
Playwright — DockerImage chính thức, tag phiên bản, khuyến nghị khi chạy trong containerDocs
-
Playwright — ShardingChia shard và gộp báo cáo blobDocs
-
Playwright — ReportersReporter có sẵn và cách viết reporter tuỳ biếnDocs
-
Playwright — Command lineToàn bộ tuỳ chọn CLI: --only-changed, --last-failed, --shard...Docs
-
GitHub Actions — Workflow syntaxTra cứu cú pháp matrix, concurrency, artifactDocs
✅ Tự đánh giá hoàn thành
- Phiên bản Playwright được ghim và khớp với tag image Docker
- Workflow lưu trace/báo cáo kể cả khi test fail, có timeout và concurrency
- Bộ test được chia shard và gộp thành một báo cáo HTML
- PR nhận phản hồi E2E dưới 10 phút và không merge được khi đỏ
- Thông báo chỉ gửi khi cần hành động; có dữ liệu xu hướng về thời gian chạy và flaky