Advanced QA & Test Engineering
Trang chủ / Module 5
🧬 Module 5 / 15 · 4-5 ngày

Mutation Testing — Đo chất lượng Test thật

Coverage nói dối — Mutation Testing mới thực sự đo được bộ test của bạn có phát hiện được bug hay chỉ đang "chạy qua" code mà không kiểm tra gì.

Mutation TestingTest Quality
📌 Vì sao module này quan trọng

Đây là kỹ thuật phân biệt rõ nhất QA senior với QA thường — vì nó lật tẩy chính điểm mù lớn nhất của toàn ngành: code coverage cao không có nghĩa test tốt. Hầu hết kỹ sư (kể cả senior dev) tin tưởng mù quáng vào con số coverage — biết Mutation Testing là biết cách đo lường đúng thứ thực sự quan trọng.

🎯 Mục tiêu học tập

  • Giải thích được vì sao code coverage là chỉ số dễ đánh lừa nếu chỉ nhìn con số bề mặt
  • Hiểu cơ chế Mutation Testing: sinh đột biến, đo tỉ lệ đột biến bị "giết"
  • Chạy được Mutation Testing thực tế và đọc hiểu kết quả để cải thiện bộ test
  • Áp dụng Mutation Score làm tiêu chí chất lượng, cân bằng với chi phí chạy (khá tốn thời gian)

Vì sao Coverage có thể "Nói dối"

def chia(a, b):
    return a / b

def test_chia():
    chia(10, 2)   # gọi hàm, đạt 100% coverage cho dòng này...
    # ...nhưng KHÔNG assert gì cả! Test này pass dù hàm trả về giá trị sai bất kỳ

Test ở trên đạt 100% coverage cho hàm chia — dòng code đã được "chạy qua" — nhưng không kiểm tra bất kỳ điều gì về kết quả. Nếu ai đó vô tình đổi a / b thành a * b, test này vẫn pass. Đây chính xác là điểm mù của coverage: nó đo code đã chạy, không đo test có thực sự kiểm tra đúng hành vi.

Cơ chế Mutation Testing

Công cụ Mutation Testing tự động tạo ra hàng trăm phiên bản "đột biến" (mutant) của code — mỗi đột biến thay đổi 1 chi tiết nhỏ (đổi > thành >=, đổi + thành -, đổi true thành false, xoá 1 dòng) — rồi chạy lại toàn bộ bộ test trên từng đột biến:

  • Đột biến bị "giết" (killed): ít nhất 1 test fail khi chạy trên đột biến này — nghĩa là bộ test thực sự phát hiện được thay đổi hành vi đó. Tốt.
  • Đột biến "sống sót" (survived): toàn bộ test vẫn pass dù code đã bị thay đổi hành vi — nghĩa là bộ test không kiểm tra đúng chỗ này, dù coverage vẫn có thể báo 100%. Đây là tín hiệu quý giá chỉ đúng ra chỗ cần viết thêm assertion.
Mutation Score = (Số đột biến bị giết / Tổng số đột biến) × 100%
# Khác hẳn Code Coverage — đo được CHẤT LƯỢNG assertion, không chỉ diện tích code đã chạm tới

Chạy Mutation Testing thực tế

# Python — mutmut
mutmut run
mutmut results
# Output: liệt kê từng mutant, trạng thái killed/survived, và VỊ TRÍ CHÍNH XÁC trong code

# JavaScript/TypeScript — Stryker Mutator
npx stryker run
# Sinh báo cáo HTML trực quan, highlight từng dòng theo màu: đỏ = mutant sống sót cần chú ý

Khi thấy 1 mutant "sống sót", quay lại đúng dòng code đó và tự hỏi: "test hiện tại có thực sự assert đúng hành vi ở đây không, hay chỉ đang gọi qua mà không kiểm tra?" — thường dẫn đến việc thêm 1 assertion còn thiếu, cải thiện chất lượng test thực chất, không chỉ tăng con số coverage vô nghĩa.

Cân bằng Chi phí — Không chạy Mutation Testing cho Toàn bộ Codebase

⚠️ Mutation Testing rất tốn thời gian chạy

Chạy lại toàn bộ bộ test cho từng đột biến trong số hàng trăm-hàng nghìn đột biến khiến Mutation Testing chậm hơn nhiều lần so với 1 lần chạy coverage thông thường — không nên chạy cho toàn bộ codebase mỗi lần commit. Áp dụng đúng tư duy Risk-based Testing (Module 1): chỉ chạy Mutation Testing định kỳ (hàng tuần, hoặc trước mỗi release lớn) cho những module có rủi ro cao nhất (logic nghiệp vụ lõi, tính toán tài chính) — không lãng phí cho code CRUD đơn giản ít rủi ro.

🏋️ Bài tập thực hành

Chạy Mutation Testing & Cải thiện Bộ Test

Chọn 1 module quan trọng trong dự án của bạn đã có sẵn unit test với coverage cao. Chạy mutation testing (mutmut cho Python hoặc Stryker cho JS/TS). Xem báo cáo, chọn 3 mutant "sống sót", phân tích vì sao bộ test hiện tại không bắt được, viết thêm assertion để "giết" các mutant đó. So sánh Mutation Score trước và sau khi cải thiện.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Giải thích được vì sao coverage cao có thể đi kèm bộ test chất lượng kém
  • Hiểu đúng cơ chế sinh đột biến và ý nghĩa của killed/survived mutant
  • Chạy được Mutation Testing thực tế và cải thiện bộ test dựa trên kết quả
  • Áp dụng đúng chiến lược cân bằng chi phí — chỉ chạy cho module rủi ro cao