Playwright + TypeScript Thực chiến
Trang chủ / Module 13
🚦 Module 13 / 15 · 1-2 tuần

CI/CD, Sharding & Báo cáo

Chạy Playwright trong CI: image Docker, GitHub Actions hoàn chỉnh, sharding và gộp báo cáo, chỉ chạy test liên quan đến thay đổi, lưu artifact, và báo cáo cho đúng người.

GitHub ActionsDockerShardingReporters
📌 Vì sao module này quan trọng

Một bộ test chỉ chạy trên máy của QA là một bộ test không tồn tại. Giá trị của automation đến từ việc nó chạy tự động, trên mọi thay đổi, đủ nhanh để người ta chờ, và báo kết quả ở nơi người ta nhìn. Phần này dùng lại kiến thức từ khoá DevOps và Docker, tập trung vào đặc thù của Playwright: trình duyệt cần thư viện hệ thống, artifact (trace, video) nặng, và sharding để giữ thời gian phản hồi dưới 10 phút khi bộ test lớn dần.

🎯 Mục tiêu học tập

  • Chạy Playwright ổn định trong CI bằng image Docker chính thức với phiên bản được ghim
  • Viết workflow GitHub Actions hoàn chỉnh: cài đặt, chạy, lưu artifact, báo cáo
  • Chia bộ test thành shard chạy song song và gộp thành một báo cáo
  • Rút ngắn phản hồi bằng chọn test theo thay đổi và tầng chạy
  • Cấu hình reporter và kênh thông báo phù hợp cho từng đối tượng

Môi trường chạy: image Docker và ghim phiên bản

Trình duyệt của Playwright cần nhiều thư viện hệ thống, và mỗi phiên bản Playwright đi kèm một bản trình duyệt cụ thể. Cách đáng tin cậy nhất là dùng image chính thức, cùng phiên bản với gói npm:

# Trong CI
container:
  image: mcr.microsoft.com/playwright:v1.56.0-noble      # PHẢI khớp phiên bản @playwright/test trong package.json

# Chạy cục bộ trong đúng môi trường của CI (bắt buộc khi tạo baseline ảnh chụp)
docker run --rm -it --ipc=host -v "$PWD":/work -w /work \
  mcr.microsoft.com/playwright:v1.56.0-noble \
  npx playwright test --update-snapshots --grep @visual
  • Ghim phiên bản chính xác trong package.json (không dùng ^) và commit lockfile. Nâng cấp Playwright là một thay đổi có chủ đích: đổi cả gói npm lẫn tag image trong cùng một PR, đọc ghi chú phát hành, và tạo lại baseline ảnh nếu trình duyệt đổi phiên bản.
  • --ipc=host tránh Chromium hết bộ nhớ dùng chung trong container.
  • Không dùng image thì chạy npx playwright install --with-deps trong CI và cache thư mục trình duyệt theo phiên bản Playwright — chậm hơn và kém nhất quán hơn dùng image.
  • Chạy test bằng người dùng không phải root khi có thể; nếu chạy root, Chromium cần tắt sandbox — chỉ chấp nhận được khi test trang web tin cậy.

Workflow GitHub Actions hoàn chỉnh

# .github/workflows/e2e.yml
name: E2E
on:
  pull_request:
  push:
    branches: [main]

concurrency:
  group: e2e-${{ github.ref }}
  cancel-in-progress: true                 # commit mới đẩy lên thì huỷ lần chạy cũ

jobs:
  test:
    timeout-minutes: 30
    runs-on: ubuntu-latest
    container:
      image: mcr.microsoft.com/playwright:v1.56.0-noble
    strategy:
      fail-fast: false                     # một shard fail không huỷ các shard khác
      matrix:
        shard: [1, 2, 3, 4]
    env:
      BASE_URL: ${{ vars.STAGING_URL }}
      TEST_USER_PASSWORD: ${{ secrets.TEST_USER_PASSWORD }}
      TEST_ADMIN_TOKEN: ${{ secrets.TEST_ADMIN_TOKEN }}
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with: { node-version: 22, cache: npm }
      - run: npm ci
      - run: npm run check                 # tsc --noEmit + eslint: fail sớm, rẻ
      - run: npx playwright test --shard=${{ matrix.shard }}/${{ strategy.job-total }}
      - uses: actions/upload-artifact@v4
        if: ${{ !cancelled() }}            # tải lên cả khi test fail
        with:
          name: blob-report-${{ matrix.shard }}
          path: blob-report
          retention-days: 3

  report:
    if: ${{ !cancelled() }}
    needs: test
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with: { node-version: 22, cache: npm }
      - run: npm ci
      - uses: actions/download-artifact@v4
        with: { path: all-blob-reports, pattern: blob-report-*, merge-multiple: true }
      - run: npx playwright merge-reports --reporter html ./all-blob-reports
      - uses: actions/upload-artifact@v4
        with: { name: html-report, path: playwright-report, retention-days: 14 }
Chi tiếtVì sao
if: !cancelled() ở bước tải artifactMặc định bước sau bị bỏ qua khi bước trước fail — đúng lúc bạn cần trace nhất
fail-fast: falseMuốn thấy toàn bộ kết quả, không dừng ở shard fail đầu tiên
concurrency + cancel-in-progressTiết kiệm tài nguyên CI, tránh hai lần chạy cùng đụng dữ liệu
timeout-minutesJob treo không ngốn phút CI vô hạn
Bí mật qua secretsKhông bao giờ nằm trong repo hay log; cẩn thận trace có thể chứa token — giới hạn thời gian lưu và quyền xem artifact
Lint và type-check trướcFail trong 30 giây thay vì sau 10 phút chạy test

Sharding và gộp báo cáo

Worker song song hoá trong một máy; shard chia bộ test ra nhiều máy. Mỗi shard chạy độc lập và xuất báo cáo dạng blob; bước cuối gộp thành một báo cáo HTML duy nhất.

npx playwright test --shard=2/4                 # shard thứ 2 trong 4
npx playwright merge-reports --reporter html,junit ./all-blob-reports
Câu hỏiHướng dẫn
Bao nhiêu shard?Bắt đầu từ mục tiêu thời gian: tổng thời gian tuần tự ÷ (số worker × mục tiêu). Đo lại định kỳ khi bộ test lớn lên
Shard lệch nhau (cái 3 phút, cái 12 phút)?Bật fullyParallel — khi đó Playwright chia theo từng test thay vì từng file, cân bằng hơn nhiều. Tách các file quá lớn
Setup project với sharding?Mỗi shard tự chạy setup của nó — đảm bảo setup rẻ và không xung đột giữa các shard (tài khoản riêng theo shard/worker)
Nhiều shard cùng bắn vào một môi trường?Tổng tải = shard × worker. Môi trường test phải chịu được, và dữ liệu phải cô lập (Module 8)

Sharding cắt thời gian chờ nhưng tăng tổng số phút máy. Trước khi thêm shard, hãy hỏi liệu có đang chạy quá nhiều test ở tầng đắt nhất không — chuyển kiểm tra logic xuống API test thường hiệu quả hơn mua thêm máy.

Phản hồi nhanh: chạy đúng thứ cần chạy

# Chỉ chạy các file test bị thay đổi (hoặc phụ thuộc vào file bị thay đổi) so với nhánh chính
npx playwright test --only-changed=origin/main

# Kiểm tra độ ổn định của test mới/vừa sửa ngay trong PR
npx playwright test --only-changed=origin/main --repeat-each=10 --retries=0

# Chạy lại chỉ những test vừa fail
npx playwright test --last-failed
Sự kiệnChạy gìChặn merge?
Mỗi PR — luôn luônLint + type-check; test bị thay đổi × lặp; tầng smokeCó
Mỗi PR — đầy đủAPI + E2E Chromium, có shardingCó
Sau merge vào nhánh chínhToàn bộ, đa trình duyệt, visualKhông chặn, nhưng fail thì phải xử lý ngay
Sau mỗi lần triển khaiSmoke trên môi trường vừa triển khaiFail thì tự lùi phiên bản
Hằng đêmToàn bộ + test chậm + cách lyKhông
  • Test trên môi trường xem trước của PR (preview deployment) là mô hình mạnh nhất: mỗi PR có môi trường riêng, dữ liệu riêng, không ai dẫm lên ai.
  • Kiểm tra sức khoẻ môi trường trước khi chạy: một request tới /healthz tiết kiệm 20 phút và 300 test đỏ vô nghĩa khi staging đang sập.
  • Lưu ý với --only-changed: nó nhìn vào file test và các file chúng import, không biết gì về thay đổi trong mã ứng dụng. Dùng nó để bổ sung phản hồi nhanh, không thay cho lần chạy đầy đủ.

Reporter và báo cáo cho đúng người

ReporterDùng cho
list / line / dotTerminal khi chạy cục bộ / log CI gọn
htmlBáo cáo chính để điều tra: lọc, xem trace, ảnh, video
blobTrung gian để gộp các shard
junitTích hợp với hệ thống CI và công cụ quản lý test
jsonPhân tích riêng: xu hướng, tỉ lệ flaky, thời lượng
githubChú thích lỗi ngay trên diff của PR
Reporter tuỳ biến / bên thứ baGửi Slack, đẩy kết quả lên dashboard (Allure, ReportPortal...)
// reporters/slack.reporter.ts — reporter tuỳ biến tối giản
import type { Reporter, FullResult, TestCase, TestResult } from '@playwright/test/reporter';

export default class SlackReporter implements Reporter {
  private failed: string[] = [];
  private flaky: string[] = [];

  onTestEnd(test: TestCase, result: TestResult) {
    if (test.outcome() === 'unexpected' && result.retry === test.retries) this.failed.push(test.titlePath().slice(1).join(' › '));
    if (test.outcome() === 'flaky') this.flaky.push(test.title);
  }

  async onEnd(result: FullResult) {
    if (!this.failed.length && !this.flaky.length) return;      // xanh thì im lặng
    await postToSlack({
      status: result.status,
      failed: this.failed.slice(0, 10),
      flakyCount: this.flaky.length,
      reportUrl: process.env.REPORT_URL,
    });
  }
}
Đối tượngCần thấy gìỞ đâu
Người viết PRTest nào fail, vì sao, trace ở đâu — trong vài phútCheck của PR + liên kết báo cáo HTML
Cả độiNhánh chính đang xanh hay đỏ; ai đang xử lýKênh chat — chỉ báo khi đỏ và khi xanh trở lại
Trưởng nhóm / quản lýXu hướng: tỉ lệ pass, tỉ lệ flaky, thời gian chạy, lỗi bắt được trước productionDashboard định kỳ

Nguyên tắc thông báo: ít và có hành động. Một kênh chat nhận 50 tin "E2E passed" mỗi ngày sẽ bị tắt tiếng, và tin "E2E failed" quan trọng sẽ chìm theo.

🏋️ Bài tập thực hành

Pipeline E2E hoàn chỉnh dưới 10 phút

(1) Ghim phiên bản Playwright và chạy toàn bộ bộ test cục bộ trong image Docker chính thức; sửa mọi khác biệt so với chạy trực tiếp trên máy. (2) Viết workflow CI: lint + type-check → test có sharding → gộp báo cáo HTML → lưu artifact kể cả khi fail. (3) Đo thời gian với 1, 2, 4 shard; chọn cấu hình đạt mục tiêu dưới 10 phút cho PR. (4) Thêm job chạy --only-changed × 10 lần cho test mới/sửa. (5) Thêm job smoke chạy sau khi triển khai lên staging, có kiểm tra sức khoẻ trước. (6) Cấu hình bảo vệ nhánh: PR không merge được khi E2E đỏ. (7) Viết reporter gửi thông báo chat chỉ khi fail, kèm liên kết báo cáo và tên 10 test đầu. (8) Xuất báo cáo JSON, lưu lại 2 tuần, viết script tính thời gian chạy trung bình và 10 test chậm nhất — dùng làm đầu vào cho việc tối ưu.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Phiên bản Playwright được ghim và khớp với tag image Docker
  • Workflow lưu trace/báo cáo kể cả khi test fail, có timeout và concurrency
  • Bộ test được chia shard và gộp thành một báo cáo HTML
  • PR nhận phản hồi E2E dưới 10 phút và không merge được khi đỏ
  • Thông báo chỉ gửi khi cần hành động; có dữ liệu xu hướng về thời gian chạy và flaky