Advanced QA & Test Engineering
Trang chủ / Module 12
🗃️ Module 12 / 15 · 4-5 ngày

Test Data Management

Sinh dữ liệu test thực tế nhưng an toàn, ẩn danh hoá dữ liệu production, và Test Data Factory — nền tảng cho mọi kỹ thuật testing đã học ở các module trước.

Synthetic DataData Masking
📌 Vì sao module này quan trọng

Dữ liệu test tồi (thiếu thực tế, không đủ đa dạng, hoặc tệ hơn — dùng thẳng dữ liệu production chứa thông tin cá nhân thật) làm hỏng giá trị của mọi kỹ thuật testing tinh vi đã học — property-based testing, visual regression, load testing đều cần dữ liệu test đúng đắn để cho kết quả đáng tin cậy.

🎯 Mục tiêu học tập

  • Thiết kế Test Data Factory sinh dữ liệu test nhất quán, dễ tái sử dụng
  • Áp dụng kỹ thuật ẩn danh hoá (data masking/anonymization) khi cần dùng dữ liệu giống production
  • Sinh dữ liệu tổng hợp (synthetic data) thực tế mà không cần dữ liệu thật
  • Quản lý vòng đời dữ liệu test: tạo, cô lập, dọn dẹp đúng cách cho từng loại test

Test Data Factory — Sinh dữ liệu Nhất quán

# Factory Pattern cho test data (ví dụ dùng factory_boy - Python)
class OrderFactory(factory.Factory):
    class Meta:
        model = Order

    id = factory.Sequence(lambda n: n)
    customer_email = factory.Faker("email")
    total_amount = factory.Faker("pydecimal", left_digits=4, right_digits=2, positive=True)
    status = "pending"

# Dùng trong test — mỗi lần gọi tạo ra dữ liệu unique, tránh xung đột khi chạy song song (liên hệ Module 6)
def test_cancel_order():
    order = OrderFactory(status="confirmed")
    result = cancel_order(order.id)
    assert result.status == "cancelled"

    # Override field cụ thể khi cần kịch bản đặc biệt
    expensive_order = OrderFactory(total_amount=99999.99)

Factory Pattern giải quyết đúng vấn đề đã nhắc ở Module 6 (cô lập dữ liệu để chạy song song an toàn): mỗi lần gọi factory sinh ra 1 bản ghi unique với giá trị mặc định hợp lý, nhưng vẫn cho phép override từng field khi cần kịch bản đặc biệt — tránh việc mỗi test tự viết code tạo dữ liệu riêng lẻ, rời rạc, khó bảo trì.

Ẩn danh hoá Dữ liệu Production (Data Masking)

Đôi khi cần dữ liệu thực tế phức tạp mà dữ liệu tự sinh khó tái tạo đầy đủ (pattern hành vi người dùng thật, phân bố dữ liệu lệch tự nhiên) — dùng bản sao dữ liệu production đã qua ẩn danh hoá, không bao giờ dùng trực tiếp dữ liệu thật chứa thông tin cá nhân:

  • Thay thế field nhạy cảm: tên thật → tên giả (bằng Faker), email thật → email giả nhưng vẫn hợp lệ định dạng, số điện thoại/CMND → giá trị giả nhất quán.
  • Giữ nguyên cấu trúc quan hệ dữ liệu: nếu 2 bản ghi có cùng 1 giá trị thật (ví dụ cùng email), sau khi mask vẫn phải cùng 1 giá trị giả — nếu không, các test dựa trên quan hệ dữ liệu (join, foreign key) sẽ sai.
  • Không thể đảo ngược (irreversible): quá trình mask phải là 1 chiều, không thể suy ngược lại dữ liệu thật ban đầu — đây là yêu cầu pháp lý bắt buộc ở nhiều ngành (tài chính, y tế).
⚠️ Không bao giờ dùng Dữ liệu Production Thô cho Test

Copy thẳng database production sang môi trường test/staging (không qua masking) là vi phạm nghiêm trọng về quyền riêng tư dữ liệu (liên hệ GDPR và các quy định tương tự) — môi trường test thường có bảo mật lỏng lẻo hơn production, nhiều người truy cập hơn, rủi ro rò rỉ dữ liệu thật cao hơn nhiều.

Sinh Dữ liệu Tổng hợp (Synthetic Data)

Khi không có dữ liệu thật để mask (dự án mới, hoặc cần khối lượng dữ liệu lớn hơn thực tế để load test — liên hệ Module 9), synthetic data sinh hoàn toàn từ đầu nhưng vẫn giữ được phân bố/pattern thống kê thực tế: dùng thư viện như Faker cho dữ liệu đơn giản (tên, địa chỉ, ngày tháng), hoặc công cụ chuyên dụng hơn (SDV — Synthetic Data Vault) học phân bố từ 1 mẫu dữ liệu nhỏ rồi sinh ra khối lượng lớn dữ liệu mới hoàn toàn nhưng giữ đúng đặc tính thống kê (tỉ lệ, tương quan giữa các trường) của dữ liệu gốc.

Vòng đời Dữ liệu Test

Tuỳ theo loại test (liên hệ ngược lại Module 1 - Test Pyramid), chiến lược dữ liệu khác nhau: Unit test dùng dữ liệu in-memory tối giản (nhanh nhất); Integration test dùng database test riêng, reset sạch giữa các lần chạy (liên hệ Docker Compose từ khoá Docker — dựng database test qua container, xoá đi tạo lại dễ dàng); E2E test (Module 6, 7) cần dữ liệu ổn định hơn qua factory + dọn dẹp (teardown) sau mỗi test; Load test (Module 9) cần khối lượng dữ liệu lớn, thường sinh sẵn trước (seed) thay vì tạo real-time trong lúc đang đo hiệu năng.

🏋️ Bài tập thực hành

Xây dựng Test Data Factory & Kịch bản Masking

Viết 1 Test Data Factory (factory_boy cho Python, hoặc tương đương ngôn ngữ bạn dùng) cho 2-3 entity chính trong dự án của bạn, đảm bảo mỗi lần gọi sinh dữ liệu unique. Thiết kế 1 script masking đơn giản: nhận vào 1 bản ghi dữ liệu giả lập giống production (có email/tên thật), xuất ra bản ghi đã ẩn danh hoá, đảm bảo cùng giá trị gốc luôn map ra cùng giá trị giả (tính nhất quán quan hệ).

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Xây dựng được Test Data Factory sinh dữ liệu unique, tái sử dụng được
  • Áp dụng đúng kỹ thuật ẩn danh hoá, giữ tính nhất quán quan hệ dữ liệu
  • Hiểu khi nào cần synthetic data thay vì dữ liệu production đã mask
  • Áp dụng đúng chiến lược dữ liệu phù hợp cho từng tầng của Test Pyramid