Kiến trúc lakehouse: medallion, Parquet, phân vùng và time travel
So sánh kho dữ liệu, hồ dữ liệu và lakehouse; tổ chức dữ liệu rủi ro An Phát theo Bronze/Silver/Gold; ghi Parquet có phân vùng và đo hiệu quả; dùng time travel để tái lập báo cáo; chọn bộ công nghệ theo quy mô và dựng phòng lab cục bộ bằng Docker.
Kiến trúc lưu trữ quyết định ba thứ người làm rủi ro quan tâm: tái lập được (báo cáo tháng trước ra đúng số đã gửi), thích ứng nhanh (khủng hoảng cần báo cáo mới trong ngày) và chi phí. Chọn sai, bạn hoặc bị khoá vào hệ thống đắt đỏ, hoặc có một “đầm lầy dữ liệu” không ai tin.
🎯 Mục tiêu học tập
- Phân biệt warehouse, data lake, lakehouse
- Thiết kế quy tắc cho từng lớp Bronze/ Silver/ Gold
- Ghi và đọc Parquet phân vùng, hiểu partition pruning
- Hiểu ACID, time travel, schema evolution của Delta/ Iceberg
- Chọn bộ công nghệ phù hợp quy mô và dựng lab cục bộ
🟢 Warehouse, lake, lakehouse
| Kho dữ liệu (warehouse) | Hồ dữ liệu (lake) | Lakehouse | |
|---|---|---|---|
| Lưu trữ | Bảng trong DB phân tích | File (CSV, JSON, Parquet) trên S3/ ADLS/ MinIO | File Parquet + lớp bảng (Delta/ Iceberg/ Hudi) |
| Giao dịch ACID | Có | Không | Có |
| Schema | Bắt buộc khi ghi | Tuỳ ý (dễ thành đầm lầy) | Bắt buộc, cho phép tiến hoá |
| Time travel | Tuỳ sản phẩm | Không | Có (theo phiên bản/ thời điểm) |
| Chi phí lưu trữ | Cao hơn | Rẻ | Rẻ |
| Ví dụ | PostgreSQL, ClickHouse, Snowflake, BigQuery | S3 + file | Databricks, Iceberg + Trino/ Spark, DuckLake |
Với doanh nghiệp vừa như An Phát, ranh giới không quá quan trọng: cái cần là các lớp dữ liệu rõ ràng, có kiểm soát, dù bạn dùng PostgreSQL hay lakehouse.
🟢 Medallion: Bronze, Silver, Gold
| Lớp | Bảng ví dụ ở An Phát | Ai được đọc | Quy tắc |
|---|---|---|---|
| Bronze | bronze.erp_invoices_cdc, bronze.bank_statements_raw, bronze.fx_api_raw | Data engineer | Không sửa, không xoá (trừ theo chính sách lưu giữ); luôn có _batch_id |
| Silver | silver.invoices, silver.payments, silver.dim_dealer_scd2, silver.fx_daily | Data engineer, analyst | Một nguồn sự thật cho mỗi thực thể; qua kiểm tra chặn (module 7) |
| Gold | gold.fct_ar_snapshot, gold.kri_daily, gold.credit_features, gold.cash_forecast_13w | Mọi người theo quyền | Có thẻ định nghĩa chỉ số; tên cột nghiệp vụ; ổn định |
| Quarantine | quarantine.invoices_rejected | Data engineer, data owner | Dòng lỗi kèm lý do, chờ xử lý |
Gold là dữ liệu đã được cam kết: có định nghĩa, có chủ sở hữu, có kiểm thử. Một bảng chưa ai cam kết thì để ở Silver hoặc vùng sandbox, đừng gắn nhãn Gold.
🟡 Parquet và phân vùng: đo bằng số
import os
import duckdb
con = duckdb.connect()
os.makedirs("lake/silver", exist_ok=True)
# Ghi vùng Silver dạng Parquet, phân vùng theo năm/tháng hoá đơn
con.sql('''
COPY (SELECT *, year(invoice_date) AS nam, month(invoice_date) AS thang FROM 'invoices.csv')
TO 'lake/silver/invoices' (FORMAT PARQUET, PARTITION_BY (nam, thang), OVERWRITE_OR_IGNORE)
''')
def size_mb(path):
if os.path.isfile(path):
return os.path.getsize(path) / 1e6
return sum(os.path.getsize(os.path.join(r, f)) for r, _, fs in os.walk(path) for f in fs) / 1e6
n_files = sum(len(fs) for _, _, fs in os.walk("lake/silver/invoices"))
print(f"CSV: {size_mb('invoices.csv'):.2f} MB | Parquet: {size_mb('lake/silver/invoices'):.2f} MB trong {n_files} file")
# Đọc lại: lọc theo cột phân vùng chỉ mở đúng thư mục nam=2025/thang=12 (partition pruning)
q = '''SELECT COUNT(*) AS so_hd, ROUND(SUM(amount_vnd) / 1e9, 1) AS ty
FROM read_parquet('lake/silver/invoices/*/*/*.parquet', hive_partitioning = true)
WHERE nam = 2025 AND thang = 12'''
print(con.sql(q).fetchall())CSV: 1.41 MB | Parquet: 0.44 MB trong 27 file
[(902, 316.7)]- Dạng cột: truy vấn chỉ đọc cột cần dùng; cột lặp nhiều giá trị (dealer_id, ngày) nén rất tốt. Ở đây dung lượng giảm khoảng 3 lần, dù chia thành 27 file nhỏ.
- Phân vùng theo năm/tháng: truy vấn tháng 12/2025 chỉ mở một thư mục. Chọn cột phân vùng theo cách truy vấn phổ biến nhất, độ chi tiết vừa phải.
- Quá nhiều file nhỏ là bệnh kinh điển: phân vùng theo ngày × đại lý sẽ sinh hàng trăm nghìn file vài KB. Mục tiêu thực tế: file 128 MB–1 GB; dữ liệu nhỏ thì phân vùng theo tháng hoặc không phân vùng.
| Định dạng | Khi nào dùng |
|---|---|
| CSV | Trao đổi với con người, nguồn bên ngoài; không dùng làm lưu trữ phân tích |
| JSON | Dữ liệu API thô ở Bronze |
| Parquet | Mặc định cho Silver/ Gold |
| Delta/ Iceberg (trên Parquet) | Khi cần ACID, upsert/ MERGE, time travel, nhiều người ghi đồng thời |
🟡 Delta/ Iceberg: ACID và time travel cho kiểm toán
Định dạng bảng thêm một nhật ký giao dịch lên trên các file Parquet: mỗi lần ghi tạo phiên bản mới. Nhờ đó có thể đọc lại bảng như nó đã từng ở một thời điểm, đúng thứ kiểm toán viên cần.
-- Spark SQL / Databricks (Delta Lake)
-- Tái lập bảng tuổi nợ đúng như lúc gửi HĐQT ngày 02/01/2026
SELECT bucket, SUM(outstanding_vnd) / 1e9 AS ty
FROM gold.fct_ar_snapshot TIMESTAMP AS OF '2026-01-02 18:00:00'
WHERE snapshot_date = '2025-12-31'
GROUP BY bucket;
-- Xem lịch sử ghi của bảng: ai, lúc nào, thao tác gì
DESCRIBE HISTORY gold.fct_ar_snapshot;
-- MERGE luỹ đẳng từ Silver vào Gold
MERGE INTO gold.fct_ar_snapshot t
USING silver.ar_snapshot_today s
ON t.snapshot_date = s.snapshot_date AND t.invoice_id = s.invoice_id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;| Tính năng | Giá trị cho rủi ro |
|---|---|
| ACID | Dashboard không bao giờ đọc phải bảng ghi dở |
| Time travel | Tái lập báo cáo đã gửi; điều tra “số này thay đổi khi nào” |
| Schema enforcement/ evolution | Chặn cột sai kiểu; thêm cột mới có kiểm soát |
| MERGE | Upsert luỹ đẳng, xử lý CDC |
Time travel phụ thuộc file cũ còn tồn tại. Lệnh dọn dẹp (VACUUM, expire snapshots) xoá file cũ để tiết kiệm chi phí. Hãy đặt thời gian giữ theo yêu cầu kiểm toán (ví dụ 13 tháng cho bảng Gold báo cáo), không để mặc định 7 ngày.
🟡 Chọn bộ công nghệ theo quy mô
| Quy mô | Lưu trữ & truy vấn | Biến đổi | Điều phối | Báo cáo |
|---|---|---|---|---|
| Nhỏ (< 50 GB, 1–2 người) | DuckDB + Parquet trên ổ/ MinIO, hoặc PostgreSQL | dbt-duckdb / SQL | cron → Dagster/ Airflow | Metabase, Superset, Excel kết nối |
| Vừa (50 GB–5 TB) | PostgreSQL/ ClickHouse, hoặc Iceberg + Trino | dbt | Airflow/ Dagster | Metabase, Superset, Power BI |
| Lớn (> 5 TB, nhiều nhóm) | Databricks, Snowflake, BigQuery | dbt, Spark | Airflow, Databricks Workflows | Power BI, Tableau, Looker |
Nguyên tắc: bắt đầu nhỏ, giữ chuẩn mở (SQL, Parquet, Iceberg/ Delta, dbt). Chuẩn mở giúp bạn chuyển lên nền tảng lớn sau này mà không viết lại logic rủi ro.
🔴 Phòng lab cục bộ bằng Docker
# docker-compose.yml — lab lakehouse tối giản cho khoá học
services:
minio: # lưu trữ tương thích S3 cho Bronze/Silver/Gold
image: minio/minio:latest
command: server /data --console-address ":9001"
environment:
MINIO_ROOT_USER: admin
MINIO_ROOT_PASSWORD: change-me-please
ports: ["9000:9000", "9001:9001"]
volumes: ["./minio:/data"]
postgres: # kho Gold phục vụ dashboard + metadata cho công cụ
image: postgres:16
environment:
POSTGRES_USER: risk
POSTGRES_PASSWORD: change-me-please
POSTGRES_DB: risk
ports: ["5432:5432"]
volumes: ["./pg:/var/lib/postgresql/data"]
metabase: # dashboard KRI (module 16)
image: metabase/metabase:latest
ports: ["3000:3000"]
depends_on: [postgres]lake/
├── landing/ # file nguyên trạng từ nguồn (JSON, CSV, MT940)
├── bronze/ erp_invoices_cdc/business_date=2025-12-31/part-0000.parquet
├── silver/ invoices/nam=2025/thang=12/... dim_dealer_scd2/ fx_daily/
├── gold/ fct_ar_snapshot/snapshot_date=2025-12-31/ kri_daily/ credit_features/
└── quarantine/ invoices_rejected/business_date=2025-12-31/Đừng commit mật khẩu thật vào Git: dùng file .env (đưa vào .gitignore) hoặc trình quản lý bí mật. Dữ liệu An Phát là giả định, nhưng thói quen thì là thật.
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Đầm lầy dữ liệu: không ai biết bảng nào tin được.
Cách làm đúng: Medallion với quy tắc rõ cho từng lớp.
Vì sao nguy hiểm: Mất khả năng xử lý lại và truy vết.
Cách làm đúng: Bronze append-only; sửa ở Silver bằng logic có version.
Vì sao nguy hiểm: Hàng trăm nghìn file nhỏ, truy vấn chậm hơn.
Cách làm đúng: Phân vùng vừa phải, gộp file định kỳ.
Vì sao nguy hiểm: Kiểm toán hỏi số tháng trước không tái lập được.
Cách làm đúng: Đặt thời gian giữ phiên bản theo yêu cầu kiểm toán.
Vì sao nguy hiểm: Chi phí cao, đội nhỏ không vận hành nổi.
Cách làm đúng: Bắt đầu nhỏ với chuẩn mở, mở rộng khi cần.
Vì sao nguy hiểm: Người dùng tin nhầm số chưa kiểm thử.
Cách làm đúng: Gold = có định nghĩa, chủ sở hữu, kiểm thử.
- Lakehouse = file rẻ + định dạng bảng có ACID, schema, time travel.
- Bronze nguyên trạng → Silver sạch → Gold cam kết; thêm Quarantine cho dòng lỗi.
- Parquet giảm dung lượng ~3 lần trên dữ liệu An Phát; phân vùng giúp đọc ít hơn.
- Time travel + ảnh chụp giúp tái lập báo cáo cho kiểm toán.
- Bắt đầu nhỏ (DuckDB/Postgres + dbt), giữ chuẩn mở.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. Dữ liệu API tỷ giá nguyên trạng nên ở lớp nào?
A. Gold
B. Bronze/ landing
C. Silver
2. Truy vấn chỉ đọc tháng 12/2025 trên dữ liệu phân vùng theo năm/tháng. Cơ chế giúp đọc ít hơn:
A. Partition pruning
B. Full scan
C. Index B-tree
3. Tính năng nào giúp tái lập bảng như ngày 02/01/2026?
A. VACUUM
B. Time travel
C. Partitioning
4. Đội 2 người, dữ liệu 20 GB, ngân sách thấp. Lựa chọn hợp lý:
A. Cụm Spark 20 node
B. DuckDB/ PostgreSQL + dbt + Parquet
C. Không cần lưu trữ
5. Vì sao Bronze nên append-only?
A. Để tốn dung lượng
B. Giữ nguyên trạng để truy vết và xử lý lại khi logic sai
C. Vì Parquet không cho sửa
🏋️ Bài tập thực hành
Viết script tạo 3 thư mục bronze/silver/gold: Bronze = CSV chuyển sang Parquet kèm _ingested_at; Silver = hoá đơn đúng kiểu, loại dòng trùng; Gold = fct_ar_snapshot cho 12 ngày cuối tháng năm 2025, phân vùng theo snapshot_date. Đo thời gian truy vấn aging trên CSV so với Gold.
💡 Gợi ý lời giải
COPY (SELECT ...) TO 'gold/fct_ar_snapshot' (FORMAT PARQUET, PARTITION_BY (snapshot_date)). Sinh 12 ngày chốt bằng range() + last_day(). Đo thời gian bằng time.perf_counter(). Kiểm tra: tổng outstanding ngày 31/12/2025 = 617,5 tỷ.📚 Tài nguyên học tập
- Delta Lake DocumentationACID, time travel, MERGETài liệu
- Apache Iceberg DocumentationĐịnh dạng bảng mở, snapshot, schema evolutionTài liệu
- DuckDB Documentation (mục Parquet, Hive partitioning)Ghi/ đọc dữ liệu phân vùngTài liệu
✅ Tự đánh giá hoàn thành
- Phân biệt warehouse/ lake/ lakehouse
- Viết quy tắc cho từng lớp medallion
- Chạy ví dụ Parquet phân vùng
- Hiểu time travel và thời gian giữ phiên bản
- Dựng lab Docker hoặc thư mục lake cục bộ