Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 1 · Thu thập & lưu trữ dữ liệu rủi ro / Module 6
🏛️ Module 6 / 18 · 1–2 tuần Trung cấp

Kiến trúc lakehouse: medallion, Parquet, phân vùng và time travel

So sánh kho dữ liệu, hồ dữ liệu và lakehouse; tổ chức dữ liệu rủi ro An Phát theo Bronze/Silver/Gold; ghi Parquet có phân vùng và đo hiệu quả; dùng time travel để tái lập báo cáo; chọn bộ công nghệ theo quy mô và dựng phòng lab cục bộ bằng Docker.

LakehouseBronze/Silver/GoldParquetDelta/ IcebergDocker
📌 Vì sao module này quan trọng

Kiến trúc lưu trữ quyết định ba thứ người làm rủi ro quan tâm: tái lập được (báo cáo tháng trước ra đúng số đã gửi), thích ứng nhanh (khủng hoảng cần báo cáo mới trong ngày) và chi phí. Chọn sai, bạn hoặc bị khoá vào hệ thống đắt đỏ, hoặc có một “đầm lầy dữ liệu” không ai tin.

🎯 Mục tiêu học tập

  • Phân biệt warehouse, data lake, lakehouse
  • Thiết kế quy tắc cho từng lớp Bronze/ Silver/ Gold
  • Ghi và đọc Parquet phân vùng, hiểu partition pruning
  • Hiểu ACID, time travel, schema evolution của Delta/ Iceberg
  • Chọn bộ công nghệ phù hợp quy mô và dựng lab cục bộ

🟢 Warehouse, lake, lakehouse

Kho dữ liệu (warehouse)Hồ dữ liệu (lake)Lakehouse
Lưu trữBảng trong DB phân tíchFile (CSV, JSON, Parquet) trên S3/ ADLS/ MinIOFile Parquet + lớp bảng (Delta/ Iceberg/ Hudi)
Giao dịch ACIDCóKhôngCó
SchemaBắt buộc khi ghiTuỳ ý (dễ thành đầm lầy)Bắt buộc, cho phép tiến hoá
Time travelTuỳ sản phẩmKhôngCó (theo phiên bản/ thời điểm)
Chi phí lưu trữCao hơnRẻRẻ
Ví dụPostgreSQL, ClickHouse, Snowflake, BigQueryS3 + fileDatabricks, Iceberg + Trino/ Spark, DuckLake

Với doanh nghiệp vừa như An Phát, ranh giới không quá quan trọng: cái cần là các lớp dữ liệu rõ ràng, có kiểm soát, dù bạn dùng PostgreSQL hay lakehouse.

🟢 Medallion: Bronze, Silver, Gold

Ba lớp và vai trò
BronzeNguyên trạng từ nguồn, append-only, kèm metadata; giữ lâu
SilverĐúng kiểu, khử trùng lặp, đã qua kiểm tra chất lượng, chuẩn hoá mã
GoldMart theo câu hỏi nghiệp vụ: aging, KRI, đặc trưng mô hình
LớpBảng ví dụ ở An PhátAi được đọcQuy tắc
Bronzebronze.erp_invoices_cdc, bronze.bank_statements_raw, bronze.fx_api_rawData engineerKhông sửa, không xoá (trừ theo chính sách lưu giữ); luôn có _batch_id
Silversilver.invoices, silver.payments, silver.dim_dealer_scd2, silver.fx_dailyData engineer, analystMột nguồn sự thật cho mỗi thực thể; qua kiểm tra chặn (module 7)
Goldgold.fct_ar_snapshot, gold.kri_daily, gold.credit_features, gold.cash_forecast_13wMọi người theo quyềnCó thẻ định nghĩa chỉ số; tên cột nghiệp vụ; ổn định
Quarantinequarantine.invoices_rejectedData engineer, data ownerDòng lỗi kèm lý do, chờ xử lý
Gold không phải là “bảng to nhất”

Gold là dữ liệu đã được cam kết: có định nghĩa, có chủ sở hữu, có kiểm thử. Một bảng chưa ai cam kết thì để ở Silver hoặc vùng sandbox, đừng gắn nhãn Gold.

🟡 Parquet và phân vùng: đo bằng số

import os
import duckdb

con = duckdb.connect()
os.makedirs("lake/silver", exist_ok=True)
# Ghi vùng Silver dạng Parquet, phân vùng theo năm/tháng hoá đơn
con.sql('''
    COPY (SELECT *, year(invoice_date) AS nam, month(invoice_date) AS thang FROM 'invoices.csv')
    TO 'lake/silver/invoices' (FORMAT PARQUET, PARTITION_BY (nam, thang), OVERWRITE_OR_IGNORE)
''')


def size_mb(path):
    if os.path.isfile(path):
        return os.path.getsize(path) / 1e6
    return sum(os.path.getsize(os.path.join(r, f)) for r, _, fs in os.walk(path) for f in fs) / 1e6


n_files = sum(len(fs) for _, _, fs in os.walk("lake/silver/invoices"))
print(f"CSV: {size_mb('invoices.csv'):.2f} MB | Parquet: {size_mb('lake/silver/invoices'):.2f} MB trong {n_files} file")

# Đọc lại: lọc theo cột phân vùng chỉ mở đúng thư mục nam=2025/thang=12 (partition pruning)
q = '''SELECT COUNT(*) AS so_hd, ROUND(SUM(amount_vnd) / 1e9, 1) AS ty
       FROM read_parquet('lake/silver/invoices/*/*/*.parquet', hive_partitioning = true)
       WHERE nam = 2025 AND thang = 12'''
print(con.sql(q).fetchall())
CSV: 1.41 MB | Parquet: 0.44 MB trong 27 file
[(902, 316.7)]
  • Dạng cột: truy vấn chỉ đọc cột cần dùng; cột lặp nhiều giá trị (dealer_id, ngày) nén rất tốt. Ở đây dung lượng giảm khoảng 3 lần, dù chia thành 27 file nhỏ.
  • Phân vùng theo năm/tháng: truy vấn tháng 12/2025 chỉ mở một thư mục. Chọn cột phân vùng theo cách truy vấn phổ biến nhất, độ chi tiết vừa phải.
  • Quá nhiều file nhỏ là bệnh kinh điển: phân vùng theo ngày × đại lý sẽ sinh hàng trăm nghìn file vài KB. Mục tiêu thực tế: file 128 MB–1 GB; dữ liệu nhỏ thì phân vùng theo tháng hoặc không phân vùng.
Định dạngKhi nào dùng
CSVTrao đổi với con người, nguồn bên ngoài; không dùng làm lưu trữ phân tích
JSONDữ liệu API thô ở Bronze
ParquetMặc định cho Silver/ Gold
Delta/ Iceberg (trên Parquet)Khi cần ACID, upsert/ MERGE, time travel, nhiều người ghi đồng thời

🟡 Delta/ Iceberg: ACID và time travel cho kiểm toán

Định dạng bảng thêm một nhật ký giao dịch lên trên các file Parquet: mỗi lần ghi tạo phiên bản mới. Nhờ đó có thể đọc lại bảng như nó đã từng ở một thời điểm, đúng thứ kiểm toán viên cần.

-- Spark SQL / Databricks (Delta Lake)
-- Tái lập bảng tuổi nợ đúng như lúc gửi HĐQT ngày 02/01/2026
SELECT bucket, SUM(outstanding_vnd) / 1e9 AS ty
FROM gold.fct_ar_snapshot TIMESTAMP AS OF '2026-01-02 18:00:00'
WHERE snapshot_date = '2025-12-31'
GROUP BY bucket;

-- Xem lịch sử ghi của bảng: ai, lúc nào, thao tác gì
DESCRIBE HISTORY gold.fct_ar_snapshot;

-- MERGE luỹ đẳng từ Silver vào Gold
MERGE INTO gold.fct_ar_snapshot t
USING silver.ar_snapshot_today s
  ON t.snapshot_date = s.snapshot_date AND t.invoice_id = s.invoice_id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;
Tính năngGiá trị cho rủi ro
ACIDDashboard không bao giờ đọc phải bảng ghi dở
Time travelTái lập báo cáo đã gửi; điều tra “số này thay đổi khi nào”
Schema enforcement/ evolutionChặn cột sai kiểu; thêm cột mới có kiểm soát
MERGEUpsert luỹ đẳng, xử lý CDC
Giữ phiên bản bao lâu?

Time travel phụ thuộc file cũ còn tồn tại. Lệnh dọn dẹp (VACUUM, expire snapshots) xoá file cũ để tiết kiệm chi phí. Hãy đặt thời gian giữ theo yêu cầu kiểm toán (ví dụ 13 tháng cho bảng Gold báo cáo), không để mặc định 7 ngày.

🟡 Chọn bộ công nghệ theo quy mô

Quy môLưu trữ & truy vấnBiến đổiĐiều phốiBáo cáo
Nhỏ (< 50 GB, 1–2 người)DuckDB + Parquet trên ổ/ MinIO, hoặc PostgreSQLdbt-duckdb / SQLcron → Dagster/ AirflowMetabase, Superset, Excel kết nối
Vừa (50 GB–5 TB)PostgreSQL/ ClickHouse, hoặc Iceberg + TrinodbtAirflow/ DagsterMetabase, Superset, Power BI
Lớn (> 5 TB, nhiều nhóm)Databricks, Snowflake, BigQuerydbt, SparkAirflow, Databricks WorkflowsPower BI, Tableau, Looker

Nguyên tắc: bắt đầu nhỏ, giữ chuẩn mở (SQL, Parquet, Iceberg/ Delta, dbt). Chuẩn mở giúp bạn chuyển lên nền tảng lớn sau này mà không viết lại logic rủi ro.

🔴 Phòng lab cục bộ bằng Docker

# docker-compose.yml — lab lakehouse tối giản cho khoá học
services:
  minio:                       # lưu trữ tương thích S3 cho Bronze/Silver/Gold
    image: minio/minio:latest
    command: server /data --console-address ":9001"
    environment:
      MINIO_ROOT_USER: admin
      MINIO_ROOT_PASSWORD: change-me-please
    ports: ["9000:9000", "9001:9001"]
    volumes: ["./minio:/data"]

  postgres:                    # kho Gold phục vụ dashboard + metadata cho công cụ
    image: postgres:16
    environment:
      POSTGRES_USER: risk
      POSTGRES_PASSWORD: change-me-please
      POSTGRES_DB: risk
    ports: ["5432:5432"]
    volumes: ["./pg:/var/lib/postgresql/data"]

  metabase:                    # dashboard KRI (module 16)
    image: metabase/metabase:latest
    ports: ["3000:3000"]
    depends_on: [postgres]
lake/
├── landing/                 # file nguyên trạng từ nguồn (JSON, CSV, MT940)
├── bronze/  erp_invoices_cdc/business_date=2025-12-31/part-0000.parquet
├── silver/  invoices/nam=2025/thang=12/...   dim_dealer_scd2/   fx_daily/
├── gold/    fct_ar_snapshot/snapshot_date=2025-12-31/   kri_daily/   credit_features/
└── quarantine/ invoices_rejected/business_date=2025-12-31/
Bảo mật ngay từ lab

Đừng commit mật khẩu thật vào Git: dùng file .env (đưa vào .gitignore) hoặc trình quản lý bí mật. Dữ liệu An Phát là giả định, nhưng thói quen thì là thật.

⚠️ Sai lầm thường mắc

❌ Đổ mọi thứ vào hồ dữ liệu không có lớp

Vì sao nguy hiểm: Đầm lầy dữ liệu: không ai biết bảng nào tin được.

Cách làm đúng: Medallion với quy tắc rõ cho từng lớp.

❌ Sửa trực tiếp dữ liệu Bronze

Vì sao nguy hiểm: Mất khả năng xử lý lại và truy vết.

Cách làm đúng: Bronze append-only; sửa ở Silver bằng logic có version.

❌ Phân vùng quá chi tiết

Vì sao nguy hiểm: Hàng trăm nghìn file nhỏ, truy vấn chậm hơn.

Cách làm đúng: Phân vùng vừa phải, gộp file định kỳ.

❌ Để time travel mặc định vài ngày

Vì sao nguy hiểm: Kiểm toán hỏi số tháng trước không tái lập được.

Cách làm đúng: Đặt thời gian giữ phiên bản theo yêu cầu kiểm toán.

❌ Chọn nền tảng lớn ngay từ đầu

Vì sao nguy hiểm: Chi phí cao, đội nhỏ không vận hành nổi.

Cách làm đúng: Bắt đầu nhỏ với chuẩn mở, mở rộng khi cần.

❌ Gắn nhãn Gold cho bảng chưa ai cam kết

Vì sao nguy hiểm: Người dùng tin nhầm số chưa kiểm thử.

Cách làm đúng: Gold = có định nghĩa, chủ sở hữu, kiểm thử.

📌 Cần nhớ
  • Lakehouse = file rẻ + định dạng bảng có ACID, schema, time travel.
  • Bronze nguyên trạng → Silver sạch → Gold cam kết; thêm Quarantine cho dòng lỗi.
  • Parquet giảm dung lượng ~3 lần trên dữ liệu An Phát; phân vùng giúp đọc ít hơn.
  • Time travel + ảnh chụp giúp tái lập báo cáo cho kiểm toán.
  • Bắt đầu nhỏ (DuckDB/Postgres + dbt), giữ chuẩn mở.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Dữ liệu API tỷ giá nguyên trạng nên ở lớp nào?
A. Gold
B. Bronze/ landing
C. Silver
Đáp án: B. Bronze giữ nguyên trạng để xử lý lại.
2. Truy vấn chỉ đọc tháng 12/2025 trên dữ liệu phân vùng theo năm/tháng. Cơ chế giúp đọc ít hơn:
A. Partition pruning
B. Full scan
C. Index B-tree
Đáp án: A. Bỏ qua thư mục không khớp điều kiện.
3. Tính năng nào giúp tái lập bảng như ngày 02/01/2026?
A. VACUUM
B. Time travel
C. Partitioning
Đáp án: B. Đọc theo phiên bản/ thời điểm.
4. Đội 2 người, dữ liệu 20 GB, ngân sách thấp. Lựa chọn hợp lý:
A. Cụm Spark 20 node
B. DuckDB/ PostgreSQL + dbt + Parquet
C. Không cần lưu trữ
Đáp án: B. Bắt đầu nhỏ, chuẩn mở.
5. Vì sao Bronze nên append-only?
A. Để tốn dung lượng
B. Giữ nguyên trạng để truy vết và xử lý lại khi logic sai
C. Vì Parquet không cho sửa
Đáp án: B. Nguyên trạng là bằng chứng gốc.

🏋️ Bài tập thực hành

Dựng Bronze/Silver/Gold cho An Phát bằng DuckDB

Viết script tạo 3 thư mục bronze/silver/gold: Bronze = CSV chuyển sang Parquet kèm _ingested_at; Silver = hoá đơn đúng kiểu, loại dòng trùng; Gold = fct_ar_snapshot cho 12 ngày cuối tháng năm 2025, phân vùng theo snapshot_date. Đo thời gian truy vấn aging trên CSV so với Gold.

💡 Gợi ý lời giải
Dùng COPY (SELECT ...) TO 'gold/fct_ar_snapshot' (FORMAT PARQUET, PARTITION_BY (snapshot_date)). Sinh 12 ngày chốt bằng range() + last_day(). Đo thời gian bằng time.perf_counter(). Kiểm tra: tổng outstanding ngày 31/12/2025 = 617,5 tỷ.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Phân biệt warehouse/ lake/ lakehouse
  • Viết quy tắc cho từng lớp medallion
  • Chạy ví dụ Parquet phân vùng
  • Hiểu time travel và thời gian giữ phiên bản
  • Dựng lab Docker hoặc thư mục lake cục bộ
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.