Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 4 · Vận hành & thực chiến / Module 18
🏁 Module 18 / 18 · 4–6 tuần Thực hành

Dự án capstone: Nền tảng dữ liệu rủi ro cho An Phát từ đầu đến cuối

Ghép mọi thứ thành một sản phẩm: đề bài từ GĐ Tài chính, kiến trúc tham chiếu, cấu trúc kho code, kế hoạch 6 tuần với sản phẩm bàn giao từng tuần, runbook vận hành, tiêu chí chấm điểm và cách trình bày giá trị bằng tiền cho ban điều hành.

CapstoneEnd-to-endPortfolioRunbookTrình bày ban điều hành
📌 Vì sao module này quan trọng

Nhà tuyển dụng và ban điều hành không trả tiền cho việc bạn biết Airflow hay SQL; họ trả tiền cho một hệ thống chạy được, đáng tin, giúp ra quyết định tốt hơn. Capstone này là bằng chứng đó: một kho code hoàn chỉnh, chạy bằng một lệnh, có kiểm thử, có tài liệu, và có một trang giải thích nó đã giúp An Phát tránh được bao nhiêu tổn thất.

🎯 Mục tiêu học tập

  • Chuyển yêu cầu nghiệp vụ thành phạm vi kỹ thuật
  • Dựng nền tảng end-to-end chạy bằng một lệnh
  • Viết kiểm thử, tài liệu, runbook
  • Tính giá trị bằng tiền của nền tảng
  • Trình bày kết quả cho ban điều hành trong 10 phút

🟢 Đề bài

🎬 Email của GĐ Tài chính An Phát

“Năm 2025 chúng ta mất khoảng 54 tỷ vì 65 đại lý vỡ nợ và suýt thiếu tiền trước Tết. Tôi cần trong 6 tuần: (1) mỗi sáng 7 giờ có bảng công nợ và cảnh báo đại lý xấu đi; (2) điểm tín dụng cho từng đại lý để duyệt hạn mức; (3) dự báo tiền 13 tuần cập nhật hằng tuần có kịch bản xấu; (4) báo cáo rủi ro tỷ giá và cảnh báo thanh toán bất thường; (5) mọi con số phải khớp sổ cái và kiểm toán truy được nguồn.”

Yêu cầuSản phẩm kỹ thuậtModule
(1) Công nợ + cảnh báo 7:00fct_ar_snapshot, kri_daily, alert_dealer_late_jump, DAG hằng ngày3, 5, 8, 16
(2) Điểm tín dụngcredit_features (point-in-time), mô hình PD, dealer_scores, danh mục mô hình11, 17
(3) Dự báo 13 tuầncash_forecast_13w (+ kịch bản), lịch sử dự báo12
(4) Tỷ giá + thanh toánfx_daily, var_daily, payment_alerts13, 14
(5) Khớp sổ cái, truy nguồnKiểm tra chất lượng, đối soát, lineage, phân quyền, nhật ký7, 10

🟢 Kiến trúc tham chiếu

Luồng dữ liệu
NguồnCSV An Phát (giả lập ERP, kế toán, ngân hàng, tỷ giá)
BronzeParquet + metadata, append-only
Silverdbt staging + kiểm tra chặn + quarantine
Goldaging, KRI, đặc trưng, điểm, dự báo, VaR, cảnh báo
Phục vụMetabase + email/Teams + báo cáo PDF
Thành phần hỗ trợ
Điều phốiAirflow/ Dagster hoặc run_daily.py
Chất lượngdbt tests + đối soát
Mô hìnhscikit-learn + MLflow
Hạ tầngDocker Compose: MinIO, Postgres, Metabase
Lựa chọnMặc định đề xuấtPhương án thay thế
Kho/ truy vấnDuckDB (dev) + PostgreSQL (phục vụ dashboard)Databricks/ Snowflake nếu có sẵn
Biến đổidbt-duckdbSQL thuần + Python
Điều phốiDagster hoặc Airflowrun_daily.py + cron (chấp nhận cho bản đầu)
DashboardMetabaseSuperset, Power BI

🟡 Cấu trúc kho code

anphat-risk-platform/
├── README.md                    # chạy bằng một lệnh: make all
├── Makefile
├── docker-compose.yml           # minio, postgres, metabase (module 6)
├── .env.example                 # KHÔNG commit .env thật
├── data/                        # CSV đầu vào (hoặc script tải về)
├── contracts/                   # hợp đồng dữ liệu YAML (module 7)
├── pipelines/                   # Python: extract, dq, recon, publish — có unit test
│   ├── extract.py  dq.py  recon.py  publish.py  alerts.py
├── dbt/
│   ├── models/staging/  models/silver/  models/gold/
│   ├── snapshots/dim_dealer_scd2.sql
│   └── tests/                   # kiểm thử tuỳ biến: đối soát, luỹ đẳng
├── models/credit_pd/            # huấn luyện, chấm điểm, giám sát (MLflow)
├── orchestration/               # DAG Airflow/ Dagster
├── metrics/  alerts/            # định nghĩa chỉ số & quy tắc cảnh báo (module 16)
├── docs/
│   ├── architecture.md  data_dictionary.md  model_card_pd.md
│   └── runbooks/                # mỗi cảnh báo, mỗi sự cố một trang
└── tests/                       # pytest: logic aging, point-in-time, luỹ đẳng
# Makefile
.PHONY: all up ingest build test score forecast publish backfill
all: up ingest build test score forecast publish
up:        ; docker compose up -d
ingest:    ; python -m pipelines.extract --asof $(ASOF)
build:     ; cd dbt && dbt build --vars '{"asof": "$(ASOF)"}'
test:      ; pytest -q && python -m pipelines.recon --asof $(ASOF)
score:     ; python -m models.credit_pd.score --asof $(ASOF)
forecast:  ; python -m pipelines.cash_forecast --asof $(ASOF)
publish:   ; python -m pipelines.publish --asof $(ASOF)
backfill:  ; for d in $(DATES); do $(MAKE) ingest build test ASOF=$$d || exit 1; done

🟡 Kế hoạch 6 tuần

TuầnMục tiêuSản phẩm bàn giaoTiêu chí xong
1Nền móngRepo, docker-compose, Bronze từ CSV, data dictionary, hợp đồng dữ liệu cho 3 nguồnmake up && make ingest chạy sạch trên máy mới
2Silver + chất lượngdbt staging, SCD2 đại lý, 10+ kiểm thử, quarantine, đối soátLô lỗi bị chặn đúng; báo cáo dq_results
3Gold công nợ + KRIfct_ar_snapshot 24 cuối tháng, kri_monthly, cảnh báo trễ hạnAging 31/12/2025 = 617,5 tỷ; luỹ đẳng khi chạy lại
4Tín dụngcredit_features point-in-time, mô hình PD, dealer_scores, model cardAUC kiểm định chéo báo cáo trung thực; không rò rỉ (có test)
5Thanh khoản, tỷ giá, gian lậncash_forecast_13w + stress, var_daily + backtest, payment_alertsKết quả khớp các module 12–14
6Vận hành + trình bàyDAG/ lịch chạy, dashboard 3 tầng, runbook, trang giá trị bằng tiền, video demo 5 phútNgười khác clone repo chạy được trong 30 phút

🟡 Runbook vận hành

Sự cốPhát hiện bằngXử lýLiên hệ
Nguồn ERP chưa có dữ liệu lúc 01:30Sensor quá hạn, cảnh báo trễ SLAChờ tối đa đến 05:00; sau đó chạy với dữ liệu hôm trước, dashboard gắn nhãn “chưa cập nhật”Nhóm ERP
Kiểm tra chất lượng block thất bạiTask quality_gate đỏXem dq_results, quarantine; nếu lỗi hệ thống → báo chủ dữ liệu; không bỏ qua kiểm traData steward
Đối soát lệch sổ cáiTask reconcile đỏSo theo ngày và theo đại lý; kiểm tra chứng từ điều chỉnh; không xuất KRI cho tới khi có giải trìnhKế toán trưởng
PSI điểm > 0,25Báo cáo giám sátKiểm tra thay đổi pipeline (lineage), sau đó phân tích quần thể; báo phòng rủi roChủ sở hữu mô hình
Chạy bù sau sửa logicYêu cầu thay đổimake backfill DATES=...; ghi nhật ký thay đổi; thông báo người dùng số liệu nào đã đổiTrưởng nhóm dữ liệu

🔴 Tiêu chí chấm và trình bày giá trị

Tiêu chíTrọng sốXuất sắc khi
Đúng số liệu25%Khớp các kiểm tra chuẩn của khoá; có test tự động cho aging, point-in-time
Tin cậy & vận hành20%Luỹ đẳng, chạy bù được, cảnh báo lỗi/ trễ SLA, runbook
Chất lượng & quản trị dữ liệu15%Kiểm tra block/warn, quarantine, đối soát, lineage, che dữ liệu nhạy cảm
Phân tích rủi ro20%Mô hình đánh giá trung thực; stress test; luật gian lận có precision/recall
Giao tiếp20%Dashboard 3 tầng rõ ràng; trang giá trị bằng tiền; demo 5 phút
-- Giá trị bằng tiền: nếu khoá hạn mức ngay khi có cảnh báo trễ hạn đầu tiên,
-- bao nhiêu tiền hàng đã không giao cho các đại lý về sau vỡ nợ?
-- (alert_history: dealer_id, first_alert_date — sinh từ quy tắc DEALER_LATE_JUMP chạy lại trên lịch sử)
SELECT COUNT(DISTINCT i.dealer_id)                          AS so_dai_ly,
       ROUND(SUM(i.amount_vnd) / 1e9, 1)                    AS hang_giao_sau_canh_bao_ty,
       ROUND(SUM(i.amount_vnd) FILTER (WHERE i.paid_date IS NULL) / 1e9, 1) AS trong_do_khong_thu_duoc_ty
FROM 'invoices.csv' i
JOIN alert_history a USING (dealer_id)
WHERE i.invoice_date > a.first_alert_date;
Trang trình bày 10 phútNội dung
1. Vấn đề54 tỷ nợ không thu được, báo cáo chậm 1 tháng, suýt thiếu tiền trước Tết
2. Giải phápMột sơ đồ kiến trúc, 5 sản phẩm theo 5 yêu cầu
3. Bằng chứngChạy lại trên lịch sử 2025: cảnh báo sớm bao nhiêu ngày, chặn được bao nhiêu tiền hàng
4. Tin cậyĐối soát khớp sổ cái, kiểm tra chất lượng, kiểm toán truy được nguồn
5. Đề nghịChi phí vận hành, người phụ trách, lộ trình 6 tháng tiếp theo
Đưa vào portfolio

Đăng repo công khai (dữ liệu giả lập nên an toàn), README có ảnh dashboard và sơ đồ kiến trúc, link video demo. Ghi rõ: dữ liệu là giả định; bạn đã làm gì để bảo đảm đúng (test, đối soát). Đây là câu chuyện phỏng vấn rất mạnh cho vị trí data engineer mảng tài chính/ rủi ro.

⚠️ Sai lầm thường mắc

❌ Bắt đầu bằng dashboard

Vì sao nguy hiểm: Đẹp nhưng số sai, phải làm lại.

Cách làm đúng: Đi từ dữ liệu đúng (tuần 1–3) rồi mới tới hiển thị.

❌ Phạm vi quá rộng

Vì sao nguy hiểm: 6 tuần không xong gì trọn vẹn.

Cách làm đúng: Ưu tiên yêu cầu (1) và (5); các phần khác làm bản tối thiểu.

❌ Không có test

Vì sao nguy hiểm: Sửa một chỗ hỏng ba chỗ.

Cách làm đúng: Test cho aging, point-in-time, luỹ đẳng từ tuần 2.

❌ Chỉ chạy được trên máy mình

Vì sao nguy hiểm: Không ai kiểm chứng được.

Cách làm đúng: docker-compose, Makefile, README; thử trên máy sạch.

❌ Trình bày bằng thuật ngữ kỹ thuật

Vì sao nguy hiểm: Ban điều hành không thấy giá trị.

Cách làm đúng: Nói bằng tiền, ngày, quyết định.

❌ Bỏ qua tài liệu vận hành

Vì sao nguy hiểm: Hệ thống chết khi bạn nghỉ phép.

Cách làm đúng: Runbook, data dictionary, model card.

📌 Cần nhớ
  • Ánh xạ từng yêu cầu nghiệp vụ sang sản phẩm dữ liệu cụ thể.
  • Một lệnh để chạy: docker-compose + Makefile + README.
  • Đúng số trước, đẹp sau: chất lượng, đối soát, test từ tuần đầu.
  • Runbook cho mọi cảnh báo và sự cố.
  • Trình bày giá trị bằng tiền: cảnh báo sớm bao nhiêu, chặn được bao nhiêu.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Tuần đầu tiên của capstone nên ưu tiên:
A. Dashboard đẹp
B. Nền móng: repo, hạ tầng, Bronze, hợp đồng dữ liệu
C. Mô hình học máy
Đáp án: B. Đúng thứ tự.
2. Tiêu chí “xong” tốt nhất cho tuần 3:
A. Có biểu đồ
B. Aging khớp số kiểm tra và chạy lại không đổi
C. Viết xong code
Đáp án: B. Kiểm chứng được.
3. Cách thuyết phục ban điều hành hiệu quả nhất:
A. Liệt kê công nghệ
B. Chạy lại trên lịch sử và cho thấy số tiền có thể tránh được
C. Nói về Kafka
Đáp án: B. Giá trị bằng tiền.
4. Đối soát lệch sổ cái lúc 6 giờ sáng. Runbook nói:
A. Vẫn xuất KRI
B. Không xuất KRI cho tới khi có giải trình, báo kế toán trưởng
C. Tắt kiểm tra
Đáp án: B. Không xuất số sai.
5. Vì sao dữ liệu giả lập phù hợp cho portfolio công khai?
A. Không có dữ liệu thật của ai bị lộ
B. Vì nó nhỏ
C. Không có lý do
Đáp án: A. An toàn để chia sẻ.

🏋️ Bài tập thực hành

Hoàn thành capstone

Làm theo kế hoạch 6 tuần. Sản phẩm cuối: repo chạy bằng make all ASOF=2025-12-31; dashboard 3 tầng; trang giá trị bằng tiền (chạy lại cảnh báo DEALER_LATE_JUMP trên lịch sử 2025 và tính tiền hàng giao sau cảnh báo cho các đại lý vỡ nợ); video demo 5 phút.

💡 Gợi ý lời giải
Các con số kiểm tra: phải thu 31/12/2025 = 617,5 tỷ; quá hạn > 90 ngày = 6,8%; dự phòng ma trận ≈ 31,1 tỷ; VaR 99% 1 ngày tham số ≈ 0,766 tỷ; HHI nhà cung cấp = 660; nhà cung cấp ma = V061. Để sinh alert_history: chạy truy vấn LAG của module 3 cho mọi đại lý, lấy tháng đầu tiên độ trễ tăng > 15 ngày, first_alert_date = ngày đầu tháng kế tiếp.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Ánh xạ 5 yêu cầu sang sản phẩm
  • Dựng repo theo cấu trúc mẫu
  • Hoàn thành 6 tuần với tiêu chí xong
  • Viết runbook 5 sự cố
  • Trình bày 10 phút + video demo
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.