Property-based Testing & Fuzzing
Tìm bug mà test case ví dụ cụ thể (example-based) không bao giờ nghĩ tới — để máy tự sinh hàng nghìn input thay vì tự nghĩ từng case.
Test case truyền thống chỉ tìm được bug mà người viết test đã nghĩ tới — nhưng bug nguy hiểm nhất thường nằm ở edge case không ai lường trước. Đây là kỹ thuật khiến máy tính làm việc "nghĩ ra input ác ý" thay cho bạn — nội công thâm hậu, ít người luyện tới nhưng cực kỳ lợi hại khi thành thạo.
🎯 Mục tiêu học tập
- Phân biệt Example-based Testing truyền thống và Property-based Testing
- Viết được property (bất biến) đúng đắn cho 1 hàm/hệ thống thay vì test case cụ thể
- Áp dụng Fuzzing để tìm lỗi ở tầng input không có cấu trúc rõ ràng (parser, API endpoint)
- Nhận diện đúng loại code nào hưởng lợi nhiều nhất từ Property-based Testing
Example-based vs Property-based Testing
# Example-based (truyền thống) — chỉ kiểm tra ĐÚNG những input đã nghĩ tới
def test_sort():
assert sort([3, 1, 2]) == [1, 2, 3]
assert sort([]) == []
assert sort([5]) == [5]
# Còn hàng triệu input khác chưa từng được thử...
# Property-based — mô tả BẤT BIẾN phải luôn đúng, để framework tự sinh hàng nghìn input ngẫu nhiên
from hypothesis import given
from hypothesis import strategies as st
@given(st.lists(st.integers()))
def test_sort_properties(lst):
result = sort(lst)
assert len(result) == len(lst) # property 1: không mất/thêm phần tử
assert all(result[i] <= result[i+1] for i in range(len(result)-1)) # property 2: đã sắp xếp đúng thứ tự
assert sorted(set(result)) == sorted(set(lst)) # property 3: tập giá trị không đổi
Thay vì liệt kê từng input cụ thể, bạn mô tả tính chất (property) luôn phải đúng bất kể input là gì — framework (Hypothesis cho Python, fast-check cho JavaScript, QuickCheck gốc cho Haskell) tự động sinh hàng trăm-hàng nghìn input ngẫu nhiên (bao gồm cả edge case cực đoan: danh sách rỗng, số âm, số cực lớn, chuỗi Unicode kỳ lạ) để cố gắng phá vỡ property đó.
Shrinking — Tính năng khiến Property-based Testing thực dụng
Khi tìm thấy 1 input gây fail, framework không dừng lại ở đó — nó tự động thu nhỏ dần
(shrinking) input đó xuống phiên bản đơn giản nhất vẫn còn gây fail. Thay vì báo lỗi với
1 danh sách 847 phần tử ngẫu nhiên khó đọc, bạn nhận được input tối giản như [0, -1] — dễ
debug hơn rất nhiều. Đây chính là tính năng biến Property-based Testing từ "thú vị về mặt lý thuyết" thành
"thực sự dùng được hàng ngày".
Fuzzing — Tấn công Input không có Cấu trúc
Fuzzing mở rộng ý tưởng trên cho những nơi khó định nghĩa "property" rõ ràng — thay vào đó, mục tiêu đơn giản hơn: ném input ngẫu nhiên/biến dạng vào hệ thống và xem nó có crash, treo, hoặc lộ lỗi bảo mật không. Phổ biến cho: parser (JSON/XML/file format), API endpoint nhận input tự do, và đặc biệt quan trọng cho bảo mật (liên hệ Module 10) — nhiều lỗ hổng bảo mật nghiêm trọng trong lịch sử được phát hiện qua fuzzing thay vì test case thủ công.
# Fuzzing 1 API endpoint bằng schemathesis (dựa trên OpenAPI spec)
schemathesis run --url http://localhost:8000 http://localhost:8000/openapi.json
# Tự động sinh hàng nghìn request theo đúng schema, kèm các biến thể biên/dị dạng,
# kiểm tra API có luôn trả về response hợp lệ theo schema, không bao giờ 500 lỗi không kiểm soát
Loại Code nào hưởng lợi nhiều nhất
| Loại code | Mức độ phù hợp | Lý do |
|---|---|---|
| Thuật toán thuần tuý (sort, parse, encode/decode, tính toán) | Rất phù hợp | Có tính chất toán học rõ ràng (đã học ở khoá Algorithms), dễ định nghĩa property |
| API/Parser nhận input từ nguồn không tin cậy | Rất phù hợp | Chính là nơi input độc hại/dị dạng thực sự xảy ra trong production |
| UI/Workflow phụ thuộc trạng thái phức tạp, nhiều side-effect | Kém phù hợp | Khó định nghĩa property rõ ràng, E2E test (Module 6) phù hợp hơn |
🏋️ Bài tập thực hành
Chọn 1 hàm xử lý dữ liệu trong dự án của bạn (ví dụ hàm parse CSV, hàm tính tổng đơn hàng, hàm encode/decode). Viết ít nhất 3 property mô tả đúng bất biến của hàm đó bằng Hypothesis (Python) hoặc fast-check (JavaScript). Chạy test, nếu tìm thấy bug thật, ghi lại input tối giản mà framework shrinking tìm ra. Nếu có 1 API endpoint, thử chạy schemathesis fuzzing dựa trên OpenAPI spec của nó.
📚 Tài nguyên học tập
-
Hypothesis — Official documentation (Python)Thư viện Property-based Testing phổ biến nhất cho PythonDocs
-
fast-check — Official documentation (JavaScript)Thư viện Property-based Testing cho JavaScript/TypeScriptDocs
-
Schemathesis — Official documentationCông cụ fuzzing API dựa trên OpenAPI/GraphQL schemaDocs
✅ Tự đánh giá hoàn thành
- Phân biệt rõ Example-based và Property-based Testing
- Viết được ít nhất 3 property đúng đắn cho 1 hàm thực tế
- Hiểu cơ chế shrinking và vì sao nó quan trọng cho việc debug
- Áp dụng được fuzzing cho ít nhất 1 API endpoint hoặc parser