Dự án capstone: Nền tảng dữ liệu rủi ro cho An Phát từ đầu đến cuối
Ghép mọi thứ thành một sản phẩm: đề bài từ GĐ Tài chính, kiến trúc tham chiếu, cấu trúc kho code, kế hoạch 6 tuần với sản phẩm bàn giao từng tuần, runbook vận hành, tiêu chí chấm điểm và cách trình bày giá trị bằng tiền cho ban điều hành.
Nhà tuyển dụng và ban điều hành không trả tiền cho việc bạn biết Airflow hay SQL; họ trả tiền cho một hệ thống chạy được, đáng tin, giúp ra quyết định tốt hơn. Capstone này là bằng chứng đó: một kho code hoàn chỉnh, chạy bằng một lệnh, có kiểm thử, có tài liệu, và có một trang giải thích nó đã giúp An Phát tránh được bao nhiêu tổn thất.
🎯 Mục tiêu học tập
- Chuyển yêu cầu nghiệp vụ thành phạm vi kỹ thuật
- Dựng nền tảng end-to-end chạy bằng một lệnh
- Viết kiểm thử, tài liệu, runbook
- Tính giá trị bằng tiền của nền tảng
- Trình bày kết quả cho ban điều hành trong 10 phút
🟢 Đề bài
“Năm 2025 chúng ta mất khoảng 54 tỷ vì 65 đại lý vỡ nợ và suýt thiếu tiền trước Tết. Tôi cần trong 6 tuần: (1) mỗi sáng 7 giờ có bảng công nợ và cảnh báo đại lý xấu đi; (2) điểm tín dụng cho từng đại lý để duyệt hạn mức; (3) dự báo tiền 13 tuần cập nhật hằng tuần có kịch bản xấu; (4) báo cáo rủi ro tỷ giá và cảnh báo thanh toán bất thường; (5) mọi con số phải khớp sổ cái và kiểm toán truy được nguồn.”
| Yêu cầu | Sản phẩm kỹ thuật | Module |
|---|---|---|
| (1) Công nợ + cảnh báo 7:00 | fct_ar_snapshot, kri_daily, alert_dealer_late_jump, DAG hằng ngày | 3, 5, 8, 16 |
| (2) Điểm tín dụng | credit_features (point-in-time), mô hình PD, dealer_scores, danh mục mô hình | 11, 17 |
| (3) Dự báo 13 tuần | cash_forecast_13w (+ kịch bản), lịch sử dự báo | 12 |
| (4) Tỷ giá + thanh toán | fx_daily, var_daily, payment_alerts | 13, 14 |
| (5) Khớp sổ cái, truy nguồn | Kiểm tra chất lượng, đối soát, lineage, phân quyền, nhật ký | 7, 10 |
🟢 Kiến trúc tham chiếu
| Lựa chọn | Mặc định đề xuất | Phương án thay thế |
|---|---|---|
| Kho/ truy vấn | DuckDB (dev) + PostgreSQL (phục vụ dashboard) | Databricks/ Snowflake nếu có sẵn |
| Biến đổi | dbt-duckdb | SQL thuần + Python |
| Điều phối | Dagster hoặc Airflow | run_daily.py + cron (chấp nhận cho bản đầu) |
| Dashboard | Metabase | Superset, Power BI |
🟡 Cấu trúc kho code
anphat-risk-platform/
├── README.md # chạy bằng một lệnh: make all
├── Makefile
├── docker-compose.yml # minio, postgres, metabase (module 6)
├── .env.example # KHÔNG commit .env thật
├── data/ # CSV đầu vào (hoặc script tải về)
├── contracts/ # hợp đồng dữ liệu YAML (module 7)
├── pipelines/ # Python: extract, dq, recon, publish — có unit test
│ ├── extract.py dq.py recon.py publish.py alerts.py
├── dbt/
│ ├── models/staging/ models/silver/ models/gold/
│ ├── snapshots/dim_dealer_scd2.sql
│ └── tests/ # kiểm thử tuỳ biến: đối soát, luỹ đẳng
├── models/credit_pd/ # huấn luyện, chấm điểm, giám sát (MLflow)
├── orchestration/ # DAG Airflow/ Dagster
├── metrics/ alerts/ # định nghĩa chỉ số & quy tắc cảnh báo (module 16)
├── docs/
│ ├── architecture.md data_dictionary.md model_card_pd.md
│ └── runbooks/ # mỗi cảnh báo, mỗi sự cố một trang
└── tests/ # pytest: logic aging, point-in-time, luỹ đẳng# Makefile
.PHONY: all up ingest build test score forecast publish backfill
all: up ingest build test score forecast publish
up: ; docker compose up -d
ingest: ; python -m pipelines.extract --asof $(ASOF)
build: ; cd dbt && dbt build --vars '{"asof": "$(ASOF)"}'
test: ; pytest -q && python -m pipelines.recon --asof $(ASOF)
score: ; python -m models.credit_pd.score --asof $(ASOF)
forecast: ; python -m pipelines.cash_forecast --asof $(ASOF)
publish: ; python -m pipelines.publish --asof $(ASOF)
backfill: ; for d in $(DATES); do $(MAKE) ingest build test ASOF=$$d || exit 1; done
🟡 Kế hoạch 6 tuần
| Tuần | Mục tiêu | Sản phẩm bàn giao | Tiêu chí xong |
|---|---|---|---|
| 1 | Nền móng | Repo, docker-compose, Bronze từ CSV, data dictionary, hợp đồng dữ liệu cho 3 nguồn | make up && make ingest chạy sạch trên máy mới |
| 2 | Silver + chất lượng | dbt staging, SCD2 đại lý, 10+ kiểm thử, quarantine, đối soát | Lô lỗi bị chặn đúng; báo cáo dq_results |
| 3 | Gold công nợ + KRI | fct_ar_snapshot 24 cuối tháng, kri_monthly, cảnh báo trễ hạn | Aging 31/12/2025 = 617,5 tỷ; luỹ đẳng khi chạy lại |
| 4 | Tín dụng | credit_features point-in-time, mô hình PD, dealer_scores, model card | AUC kiểm định chéo báo cáo trung thực; không rò rỉ (có test) |
| 5 | Thanh khoản, tỷ giá, gian lận | cash_forecast_13w + stress, var_daily + backtest, payment_alerts | Kết quả khớp các module 12–14 |
| 6 | Vận hành + trình bày | DAG/ lịch chạy, dashboard 3 tầng, runbook, trang giá trị bằng tiền, video demo 5 phút | Người khác clone repo chạy được trong 30 phút |
🟡 Runbook vận hành
| Sự cố | Phát hiện bằng | Xử lý | Liên hệ |
|---|---|---|---|
| Nguồn ERP chưa có dữ liệu lúc 01:30 | Sensor quá hạn, cảnh báo trễ SLA | Chờ tối đa đến 05:00; sau đó chạy với dữ liệu hôm trước, dashboard gắn nhãn “chưa cập nhật” | Nhóm ERP |
| Kiểm tra chất lượng block thất bại | Task quality_gate đỏ | Xem dq_results, quarantine; nếu lỗi hệ thống → báo chủ dữ liệu; không bỏ qua kiểm tra | Data steward |
| Đối soát lệch sổ cái | Task reconcile đỏ | So theo ngày và theo đại lý; kiểm tra chứng từ điều chỉnh; không xuất KRI cho tới khi có giải trình | Kế toán trưởng |
| PSI điểm > 0,25 | Báo cáo giám sát | Kiểm tra thay đổi pipeline (lineage), sau đó phân tích quần thể; báo phòng rủi ro | Chủ sở hữu mô hình |
| Chạy bù sau sửa logic | Yêu cầu thay đổi | make backfill DATES=...; ghi nhật ký thay đổi; thông báo người dùng số liệu nào đã đổi | Trưởng nhóm dữ liệu |
🔴 Tiêu chí chấm và trình bày giá trị
| Tiêu chí | Trọng số | Xuất sắc khi |
|---|---|---|
| Đúng số liệu | 25% | Khớp các kiểm tra chuẩn của khoá; có test tự động cho aging, point-in-time |
| Tin cậy & vận hành | 20% | Luỹ đẳng, chạy bù được, cảnh báo lỗi/ trễ SLA, runbook |
| Chất lượng & quản trị dữ liệu | 15% | Kiểm tra block/warn, quarantine, đối soát, lineage, che dữ liệu nhạy cảm |
| Phân tích rủi ro | 20% | Mô hình đánh giá trung thực; stress test; luật gian lận có precision/recall |
| Giao tiếp | 20% | Dashboard 3 tầng rõ ràng; trang giá trị bằng tiền; demo 5 phút |
-- Giá trị bằng tiền: nếu khoá hạn mức ngay khi có cảnh báo trễ hạn đầu tiên,
-- bao nhiêu tiền hàng đã không giao cho các đại lý về sau vỡ nợ?
-- (alert_history: dealer_id, first_alert_date — sinh từ quy tắc DEALER_LATE_JUMP chạy lại trên lịch sử)
SELECT COUNT(DISTINCT i.dealer_id) AS so_dai_ly,
ROUND(SUM(i.amount_vnd) / 1e9, 1) AS hang_giao_sau_canh_bao_ty,
ROUND(SUM(i.amount_vnd) FILTER (WHERE i.paid_date IS NULL) / 1e9, 1) AS trong_do_khong_thu_duoc_ty
FROM 'invoices.csv' i
JOIN alert_history a USING (dealer_id)
WHERE i.invoice_date > a.first_alert_date;| Trang trình bày 10 phút | Nội dung |
|---|---|
| 1. Vấn đề | 54 tỷ nợ không thu được, báo cáo chậm 1 tháng, suýt thiếu tiền trước Tết |
| 2. Giải pháp | Một sơ đồ kiến trúc, 5 sản phẩm theo 5 yêu cầu |
| 3. Bằng chứng | Chạy lại trên lịch sử 2025: cảnh báo sớm bao nhiêu ngày, chặn được bao nhiêu tiền hàng |
| 4. Tin cậy | Đối soát khớp sổ cái, kiểm tra chất lượng, kiểm toán truy được nguồn |
| 5. Đề nghị | Chi phí vận hành, người phụ trách, lộ trình 6 tháng tiếp theo |
Đăng repo công khai (dữ liệu giả lập nên an toàn), README có ảnh dashboard và sơ đồ kiến trúc, link video demo. Ghi rõ: dữ liệu là giả định; bạn đã làm gì để bảo đảm đúng (test, đối soát). Đây là câu chuyện phỏng vấn rất mạnh cho vị trí data engineer mảng tài chính/ rủi ro.
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Đẹp nhưng số sai, phải làm lại.
Cách làm đúng: Đi từ dữ liệu đúng (tuần 1–3) rồi mới tới hiển thị.
Vì sao nguy hiểm: 6 tuần không xong gì trọn vẹn.
Cách làm đúng: Ưu tiên yêu cầu (1) và (5); các phần khác làm bản tối thiểu.
Vì sao nguy hiểm: Sửa một chỗ hỏng ba chỗ.
Cách làm đúng: Test cho aging, point-in-time, luỹ đẳng từ tuần 2.
Vì sao nguy hiểm: Không ai kiểm chứng được.
Cách làm đúng: docker-compose, Makefile, README; thử trên máy sạch.
Vì sao nguy hiểm: Ban điều hành không thấy giá trị.
Cách làm đúng: Nói bằng tiền, ngày, quyết định.
Vì sao nguy hiểm: Hệ thống chết khi bạn nghỉ phép.
Cách làm đúng: Runbook, data dictionary, model card.
- Ánh xạ từng yêu cầu nghiệp vụ sang sản phẩm dữ liệu cụ thể.
- Một lệnh để chạy: docker-compose + Makefile + README.
- Đúng số trước, đẹp sau: chất lượng, đối soát, test từ tuần đầu.
- Runbook cho mọi cảnh báo và sự cố.
- Trình bày giá trị bằng tiền: cảnh báo sớm bao nhiêu, chặn được bao nhiêu.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. Tuần đầu tiên của capstone nên ưu tiên:
A. Dashboard đẹp
B. Nền móng: repo, hạ tầng, Bronze, hợp đồng dữ liệu
C. Mô hình học máy
2. Tiêu chí “xong” tốt nhất cho tuần 3:
A. Có biểu đồ
B. Aging khớp số kiểm tra và chạy lại không đổi
C. Viết xong code
3. Cách thuyết phục ban điều hành hiệu quả nhất:
A. Liệt kê công nghệ
B. Chạy lại trên lịch sử và cho thấy số tiền có thể tránh được
C. Nói về Kafka
4. Đối soát lệch sổ cái lúc 6 giờ sáng. Runbook nói:
A. Vẫn xuất KRI
B. Không xuất KRI cho tới khi có giải trình, báo kế toán trưởng
C. Tắt kiểm tra
5. Vì sao dữ liệu giả lập phù hợp cho portfolio công khai?
A. Không có dữ liệu thật của ai bị lộ
B. Vì nó nhỏ
C. Không có lý do
🏋️ Bài tập thực hành
Làm theo kế hoạch 6 tuần. Sản phẩm cuối: repo chạy bằng make all ASOF=2025-12-31; dashboard 3 tầng; trang giá trị bằng tiền (chạy lại cảnh báo DEALER_LATE_JUMP trên lịch sử 2025 và tính tiền hàng giao sau cảnh báo cho các đại lý vỡ nợ); video demo 5 phút.
💡 Gợi ý lời giải
📚 Tài nguyên học tập
- dbt Best PracticesCấu trúc dự án dbtTài liệu
- Docker Compose DocumentationĐóng gói môi trường chạy một lệnhTài liệu
- Google: Model CardsMẫu tài liệu mô hìnhTham khảo
✅ Tự đánh giá hoàn thành
- Ánh xạ 5 yêu cầu sang sản phẩm
- Dựng repo theo cấu trúc mẫu
- Hoàn thành 6 tuần với tiêu chí xong
- Viết runbook 5 sự cố
- Trình bày 10 phút + video demo