Advanced QA & Test Engineering
Trang chủ / Module 4
🎲 Module 4 / 15 · 1 tuần

Property-based Testing & Fuzzing

Tìm bug mà test case ví dụ cụ thể (example-based) không bao giờ nghĩ tới — để máy tự sinh hàng nghìn input thay vì tự nghĩ từng case.

Property-basedFuzzing
📌 Vì sao module này quan trọng

Test case truyền thống chỉ tìm được bug mà người viết test đã nghĩ tới — nhưng bug nguy hiểm nhất thường nằm ở edge case không ai lường trước. Đây là kỹ thuật khiến máy tính làm việc "nghĩ ra input ác ý" thay cho bạn — nội công thâm hậu, ít người luyện tới nhưng cực kỳ lợi hại khi thành thạo.

🎯 Mục tiêu học tập

  • Phân biệt Example-based Testing truyền thống và Property-based Testing
  • Viết được property (bất biến) đúng đắn cho 1 hàm/hệ thống thay vì test case cụ thể
  • Áp dụng Fuzzing để tìm lỗi ở tầng input không có cấu trúc rõ ràng (parser, API endpoint)
  • Nhận diện đúng loại code nào hưởng lợi nhiều nhất từ Property-based Testing

Example-based vs Property-based Testing

# Example-based (truyền thống) — chỉ kiểm tra ĐÚNG những input đã nghĩ tới
def test_sort():
    assert sort([3, 1, 2]) == [1, 2, 3]
    assert sort([]) == []
    assert sort([5]) == [5]
    # Còn hàng triệu input khác chưa từng được thử...
# Property-based — mô tả BẤT BIẾN phải luôn đúng, để framework tự sinh hàng nghìn input ngẫu nhiên
from hypothesis import given
from hypothesis import strategies as st

@given(st.lists(st.integers()))
def test_sort_properties(lst):
    result = sort(lst)
    assert len(result) == len(lst)                       # property 1: không mất/thêm phần tử
    assert all(result[i] <= result[i+1] for i in range(len(result)-1))   # property 2: đã sắp xếp đúng thứ tự
    assert sorted(set(result)) == sorted(set(lst))          # property 3: tập giá trị không đổi

Thay vì liệt kê từng input cụ thể, bạn mô tả tính chất (property) luôn phải đúng bất kể input là gì — framework (Hypothesis cho Python, fast-check cho JavaScript, QuickCheck gốc cho Haskell) tự động sinh hàng trăm-hàng nghìn input ngẫu nhiên (bao gồm cả edge case cực đoan: danh sách rỗng, số âm, số cực lớn, chuỗi Unicode kỳ lạ) để cố gắng phá vỡ property đó.

Shrinking — Tính năng khiến Property-based Testing thực dụng

Khi tìm thấy 1 input gây fail, framework không dừng lại ở đó — nó tự động thu nhỏ dần (shrinking) input đó xuống phiên bản đơn giản nhất vẫn còn gây fail. Thay vì báo lỗi với 1 danh sách 847 phần tử ngẫu nhiên khó đọc, bạn nhận được input tối giản như [0, -1] — dễ debug hơn rất nhiều. Đây chính là tính năng biến Property-based Testing từ "thú vị về mặt lý thuyết" thành "thực sự dùng được hàng ngày".

Fuzzing — Tấn công Input không có Cấu trúc

Fuzzing mở rộng ý tưởng trên cho những nơi khó định nghĩa "property" rõ ràng — thay vào đó, mục tiêu đơn giản hơn: ném input ngẫu nhiên/biến dạng vào hệ thống và xem nó có crash, treo, hoặc lộ lỗi bảo mật không. Phổ biến cho: parser (JSON/XML/file format), API endpoint nhận input tự do, và đặc biệt quan trọng cho bảo mật (liên hệ Module 10) — nhiều lỗ hổng bảo mật nghiêm trọng trong lịch sử được phát hiện qua fuzzing thay vì test case thủ công.

# Fuzzing 1 API endpoint bằng schemathesis (dựa trên OpenAPI spec)
schemathesis run --url http://localhost:8000 http://localhost:8000/openapi.json
# Tự động sinh hàng nghìn request theo đúng schema, kèm các biến thể biên/dị dạng,
# kiểm tra API có luôn trả về response hợp lệ theo schema, không bao giờ 500 lỗi không kiểm soát

Loại Code nào hưởng lợi nhiều nhất

Loại codeMức độ phù hợpLý do
Thuật toán thuần tuý (sort, parse, encode/decode, tính toán)Rất phù hợpCó tính chất toán học rõ ràng (đã học ở khoá Algorithms), dễ định nghĩa property
API/Parser nhận input từ nguồn không tin cậyRất phù hợpChính là nơi input độc hại/dị dạng thực sự xảy ra trong production
UI/Workflow phụ thuộc trạng thái phức tạp, nhiều side-effectKém phù hợpKhó định nghĩa property rõ ràng, E2E test (Module 6) phù hợp hơn

🏋️ Bài tập thực hành

Viết Property-based Test cho 1 Hàm Thực tế

Chọn 1 hàm xử lý dữ liệu trong dự án của bạn (ví dụ hàm parse CSV, hàm tính tổng đơn hàng, hàm encode/decode). Viết ít nhất 3 property mô tả đúng bất biến của hàm đó bằng Hypothesis (Python) hoặc fast-check (JavaScript). Chạy test, nếu tìm thấy bug thật, ghi lại input tối giản mà framework shrinking tìm ra. Nếu có 1 API endpoint, thử chạy schemathesis fuzzing dựa trên OpenAPI spec của nó.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Phân biệt rõ Example-based và Property-based Testing
  • Viết được ít nhất 3 property đúng đắn cho 1 hàm thực tế
  • Hiểu cơ chế shrinking và vì sao nó quan trọng cho việc debug
  • Áp dụng được fuzzing cho ít nhất 1 API endpoint hoặc parser