Data Engineering cho Phân tích Rủi ro Doanh nghiệp
Khoá học tự học bằng tiếng Việt cho kỹ sư dữ liệu, chuyên viên phân tích và người làm quản trị rủi ro muốn xây hệ thống dữ liệu giúp doanh nghiệp nhìn thấy rủi ro trước khi nó thành tổn thất. Đi từ nền tảng (rủi ro là gì, đo bằng gì, SQL/Python) đến pipeline, chất lượng dữ liệu, kiến trúc lakehouse, streaming, rồi áp dụng vào rủi ro tín dụng, thanh khoản, tỷ giá, gian lận, nhà cung cấp và kết thúc bằng một dự án capstone làm trọn từ đầu đến cuối. Xuyên suốt khoá là công ty giả định An Phát Distribution với bộ dữ liệu thật để bạn tải về và chạy code. Mọi con số trong bài được tính bằng code từ chính bộ dữ liệu đó.
Tải bộ dữ liệu An Phát ngay từ module 3, cài Python + DuckDB, và gõ lại từng đoạn code thay vì chỉ đọc. Mỗi module có bài tập dùng chính bộ dữ liệu này; module 18 ghép tất cả thành một nền tảng dữ liệu rủi ro hoàn chỉnh để đưa vào portfolio.
🗺️ Lộ trình đề xuất
| Bạn là... | Nên học | Thời gian gợi ý |
|---|---|---|
| Mới bắt đầu (biết Excel, chưa vững SQL/Python) | Module 1–3 thật kỹ, rồi 4–8, sau đó 11–12, 16, 18 | 12–16 tuần |
| Data engineer muốn sang mảng rủi ro/ tài chính | Lướt 3–8; tập trung 1–2, 5, 7, 10–17, 18 | 8–10 tuần |
| Chuyên viên rủi ro muốn tự động hoá | 1–8 kỹ, 11–16 theo nghiệp vụ của bạn, 18 | 10–14 tuần |
| Trưởng nhóm/ kiến trúc sư | 1–2, 5–6, 9–10, 16–18 | 4–6 tuần |
📘 18 Module
Phần 0 · Nền tảng: rủi ro & dữ liệu
🧭 Data Engineering trong quản trị rủi ro: bức tranh tổng thể
Rủi ro doanh nghiệp gồm những loại nào, dữ liệu nào nói lên rủi ro, kỹ sư dữ liệu đứng ở đâu trong bộ máy quản trị rủi ro, và câu chuyện của An Phát Distribution: công ty mất hơn 50 tỷ đồng vì dữ liệu đến muộn.
✓📏 Đo lường rủi ro: ma trận rủi ro, KRI, khẩu vị và tổn thất kỳ vọng
Biến rủi ro thành con số: sổ đăng ký rủi ro, ma trận khả năng × tác động, chỉ số rủi ro chính (KRI) có ngưỡng, khẩu vị rủi ro, công thức tổn thất kỳ vọng EL = PD × LGD × EAD và “thẻ định nghĩa chỉ số” mà data engineer phải viết.
✓🧰 Bộ công cụ: SQL & Python cho dữ liệu rủi ro
Cài đặt môi trường, đọc từ điển dữ liệu An Phát, rồi viết truy vấn thật: doanh thu, bảng tuổi nợ, top đại lý với hàm cửa sổ, phát hiện đại lý xấu dần bằng LAG, và ma trận dự phòng bằng pandas. Mọi kết quả trong bài là kết quả chạy thật.
Phần 1 · Thu thập & lưu trữ dữ liệu rủi ro
📥 Nguồn dữ liệu & thu nạp: batch, gia tăng, CDC và API
Lập bản đồ hệ thống nguồn của An Phát, chọn kiểu thu nạp phù hợp (toàn bộ, gia tăng, CDC, API, file), viết bước nạp gia tăng có watermark và giao dịch, upsert danh mục, gọi API tỷ giá có retry và lưu dữ liệu thô kèm metadata.
✓🧱 Mô hình hoá dữ liệu rủi ro: star schema, SCD2 và đúng thời điểm
Thiết kế mô hình hình sao cho rủi ro công nợ, phân biệt fact giao dịch và fact ảnh chụp định kỳ, giữ lịch sử hạn mức bằng SCD loại 2, nối đúng thời điểm bằng ASOF JOIN, và thấy tận mắt rò rỉ dữ liệu làm mô hình đẹp giả tạo ra sao.
✓🏛️ Kiến trúc lakehouse: medallion, Parquet, phân vùng và time travel
So sánh kho dữ liệu, hồ dữ liệu và lakehouse; tổ chức dữ liệu rủi ro An Phát theo Bronze/Silver/Gold; ghi Parquet có phân vùng và đo hiệu quả; dùng time travel để tái lập báo cáo; chọn bộ công nghệ theo quy mô và dựng phòng lab cục bộ bằng Docker.
Phần 2 · Chất lượng, pipeline & quản trị dữ liệu
🧪 Chất lượng dữ liệu: kiểm tra, cách ly, đối soát và hợp đồng dữ liệu
Sáu chiều chất lượng dữ liệu, viết bộ kiểm tra bằng SQL và Python trên file hoá đơn lỗi (1.816 dòng, có 106 dòng lỗi cài sẵn), mẫu cách ly dòng lỗi, đối soát với sổ cái, và hợp đồng dữ liệu giữa nhóm nguồn và nhóm rủi ro.
✓⏱️ Điều phối pipeline: Airflow, dbt, SLA và chạy bù
Thiết kế DAG hằng ngày cho nền tảng rủi ro An Phát: trích xuất, kiểm tra chất lượng, dbt build, đối soát, xuất báo cáo; viết DAG bằng Airflow, mô hình incremental bằng dbt, thiết kế tác vụ luỹ đẳng để chạy bù, tính SLA và giám sát độ tươi dữ liệu.
✓⚡ Streaming: kiểm soát hạn mức và cảnh báo gần thời gian thực
Khi nào rủi ro cần xử lý theo luồng, các khái niệm Kafka (topic, partition, offset, consumer group), xây bộ kiểm tra hạn mức khi tạo đơn hàng, đếm thanh toán theo cửa sổ thời gian bằng Flink SQL, xử lý sự kiện đến muộn và đảm bảo không xử lý trùng.
✓🔐 Quản trị, bảo mật & tuân thủ dữ liệu rủi ro
Ai sở hữu dữ liệu, danh mục và từ điển nghiệp vụ, lineage để phân tích tác động, phân loại và bảo vệ dữ liệu cá nhân theo pháp luật Việt Nam, phân quyền theo vai trò và theo dòng, nhật ký truy cập và chính sách lưu giữ.
Phần 3 · Phân tích rủi ro trên dữ liệu
💳 Rủi ro tín dụng khách hàng: đặc trưng, scorecard và dự phòng
Định nghĩa bài toán vỡ nợ đúng thời điểm, xây đặc trưng point-in-time cho 472 đại lý, đo sức mạnh biến bằng WoE/IV, huấn luyện hồi quy logistic, đánh giá bằng AUC/Gini và kiểm định chéo, quy đổi ra điểm, chia hạng rủi ro và nối vào dự phòng, hạn mức.
✓💧 Rủi ro thanh khoản: dự báo dòng tiền 13 tuần và kiểm tra sức chịu đựng
Lãi mà vẫn có thể chết vì hết tiền. Dựng dự báo dòng tiền 13 tuần cho An Phát từ dữ liệu: thu công nợ dự kiến tính từ ngày đến hạn và hành vi trả của từng đại lý, chi nhà cung cấp, lương, thuế, trả nợ vay; chạy kịch bản căng thẳng và tìm tuần thủng ngưỡng tiền tối thiểu 20 tỷ.
✓📉 Rủi ro thị trường: tỷ giá, VaR, Monte Carlo và kiểm định ngược
An Phát đang ngắn 5,5 triệu USD (≈ 144 tỷ). Đo rủi ro tỷ giá bằng VaR tham số, VaR lịch sử, Expected Shortfall, mô phỏng Monte Carlo 20 ngày, kiểm định ngược bằng “đèn giao thông” Basel, kịch bản sốc và đường ống dữ liệu thị trường.
✓🕵️ Gian lận & bất thường: luật SQL, Benford, robust z và đánh đổi cảnh báo
Săn gian lận trong 2.356 khoản thanh toán nhà cung cấp năm 2025 của An Phát (có 56 khoản bất thường được cài sẵn và file đáp án để tự chấm): thanh toán trùng, nhà cung cấp “ma” dùng tài khoản nhân viên, chia nhỏ né ngưỡng phê duyệt, giao dịch ngoài giờ, luật Benford, robust z và đánh đổi precision/recall.
✓🏭 Rủi ro nhà cung cấp & vận hành: tập trung, chấm điểm và cơ sở dữ liệu tổn thất
Đo mức độ phụ thuộc nhà cung cấp bằng HHI và tỷ trọng (HHI 660, NCC lớn nhất 18,7%), chấm điểm nhà cung cấp từ dữ liệu giao nhận, thiết kế cơ sở dữ liệu sự kiện tổn thất và KRI vận hành, và nhìn chính nền tảng dữ liệu như một nguồn rủi ro vận hành.
Phần 4 · Vận hành & thực chiến
🚦 Dashboard KRI & hệ thống cảnh báo
Thiết kế dashboard rủi ro theo ba tầng người đọc, xây mart KRI cuối tháng có trạng thái Xanh/Vàng/Đỏ bằng SQL, định nghĩa chỉ số dùng chung, viết quy tắc cảnh báo có chủ sở hữu, kênh, chống trùng và runbook, và chống mệt mỏi cảnh báo bằng phân tầng và độ trễ bật/tắt.
✓🩺 Vận hành mô hình rủi ro: giám sát trôi, hiệu chuẩn và quản trị mô hình
Mô hình chấm điểm cũng là một rủi ro. Lập danh mục mô hình, giám sát trôi dữ liệu bằng PSI (An Phát: toàn bộ 0,007, nhóm đại lý mới 0,022), kiểm tra hiệu chuẩn PD theo hạng, đóng gói để tái lập (dữ liệu, code, tham số), và quy trình champion–challenger.
✓🏁 Dự án capstone: Nền tảng dữ liệu rủi ro cho An Phát từ đầu đến cuối
Ghép mọi thứ thành một sản phẩm: đề bài từ GĐ Tài chính, kiến trúc tham chiếu, cấu trúc kho code, kế hoạch 6 tuần với sản phẩm bàn giao từng tuần, runbook vận hành, tiêu chí chấm điểm và cách trình bày giá trị bằng tiền cho ban điều hành.
🗂️ Bộ dữ liệu thực hành: An Phát Distribution
CTCP Phân phối An Phát (giả định) bán hàng tiêu dùng và thiết bị điện cho 600 đại lý trên ba miền, cho nợ 30–60 ngày, doanh thu năm 2025 khoảng 3.234 tỷ đồng, vay 5,5 triệu USD (gồm cả phải trả nhà cung cấp nước ngoài) và thanh toán cho 60 nhà cung cấp. Bộ dữ liệu được sinh bằng code với seed cố định: bạn chạy lại sẽ ra đúng con số trong bài.
| File | Nội dung | Số dòng | Dung lượng |
|---|---|---|---|
| dealers.csv | Danh mục đại lý: vùng, phân khúc, hạn mức tín dụng, kỳ hạn | 600 | 42 KB |
| invoices.csv | Hoá đơn bán chịu 2024–2025 và ngày thanh toán (trống = chưa trả tại 31/12/2025) | 23.453 | 1.378 KB |
| fx_usdvnd.csv | Tỷ giá USD/VND ngày làm việc (giả lập) | 522 | 9 KB |
| vendors.csv | Danh mục nhà cung cấp và tài khoản ngân hàng | 61 | 3 KB |
| employees.csv | Danh sách nhân viên và tài khoản ngân hàng (đã ẩn danh) | 50 | 1 KB |
| vendor_payments.csv | Thanh toán cho nhà cung cấp năm 2025 (có cài sẵn giao dịch bất thường) | 2.356 | 119 KB |
| vendor_payments_labels.csv | Đáp án: nhãn giao dịch bất thường để tự chấm | 2.356 | 39 KB |
| invoices_dirty.csv | Hoá đơn tháng 11–12/2025 có lỗi dữ liệu cài sẵn (bài chất lượng dữ liệu) | 1.816 | 96 KB |
Tải các file vào một thư mục, cài pip install duckdb pandas, rồi chạy:
import duckdb
con = duckdb.connect()
print(con.sql("SELECT COUNT(*) AS so_hoa_don, SUM(amount_vnd)/1e9 AS ty_dong FROM 'invoices.csv'"))
🛠️ Công cụ tương tác
💸 Tổn thất kỳ vọng (EL)
PD × LGD × EAD. (Module 2)
🔥 Ma trận rủi ro
Khả năng × tác động, rủi ro còn lại sau kiểm soát. (Module 2)
📅 Bảng tuổi nợ & dự phòng
Ma trận tỷ lệ tổn thất theo nhóm quá hạn. (Module 3, 11)
🧪 Điểm chất lượng dữ liệu
6 chiều chất lượng, ngưỡng chấp nhận. (Module 7)
⏱️ SLA pipeline
Giờ xong dự kiến và trường hợp xấu nhất có retry. (Module 8)
📉 VaR tỷ giá
VaR/ES tham số, kịch bản sốc. (Module 13)
💧 Đường băng thanh khoản
Số tuần trước khi thủng ngưỡng tiền tối thiểu. (Module 12)
🏭 Mức độ tập trung HHI
Phụ thuộc nhà cung cấp/ khách hàng. (Module 15)
🚨 Z-score & robust z
Phát hiện giá trị bất thường. (Module 14)
🔢 Kiểm định Benford
Dán danh sách số tiền, so với luật Benford. (Module 14)
📣 Khối lượng cảnh báo
Precision, recall và số giờ xử lý mỗi ngày. (Module 14, 16)
📊 PSI drift
Độ ổn định phân phối điểm mô hình. (Module 17)