Data Engineering cho Phân tích Rủi ro 🏠
🛡️ Pipeline · Chất lượng dữ liệu · Tín dụng · Thanh khoản · Gian lận

Data Engineering cho Phân tích Rủi ro Doanh nghiệp

Khoá học tự học bằng tiếng Việt cho kỹ sư dữ liệu, chuyên viên phân tích và người làm quản trị rủi ro muốn xây hệ thống dữ liệu giúp doanh nghiệp nhìn thấy rủi ro trước khi nó thành tổn thất. Đi từ nền tảng (rủi ro là gì, đo bằng gì, SQL/Python) đến pipeline, chất lượng dữ liệu, kiến trúc lakehouse, streaming, rồi áp dụng vào rủi ro tín dụng, thanh khoản, tỷ giá, gian lận, nhà cung cấp và kết thúc bằng một dự án capstone làm trọn từ đầu đến cuối. Xuyên suốt khoá là công ty giả định An Phát Distribution với bộ dữ liệu thật để bạn tải về và chạy code. Mọi con số trong bài được tính bằng code từ chính bộ dữ liệu đó.

18
Module từ dễ đến khó
58
Đoạn code SQL/ Python/ YAML
16
Biểu đồ tính từ dữ liệu
90
Câu tự kiểm tra có giải thích
12
Công cụ tương tác
Tiến độ tổng thể của bạn0/18 hoàn thành (0%)
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.
Cách học hiệu quả nhất

Tải bộ dữ liệu An Phát ngay từ module 3, cài Python + DuckDB, và gõ lại từng đoạn code thay vì chỉ đọc. Mỗi module có bài tập dùng chính bộ dữ liệu này; module 18 ghép tất cả thành một nền tảng dữ liệu rủi ro hoàn chỉnh để đưa vào portfolio.

🗺️ Lộ trình đề xuất

Bạn là...Nên họcThời gian gợi ý
Mới bắt đầu (biết Excel, chưa vững SQL/Python)Module 1–3 thật kỹ, rồi 4–8, sau đó 11–12, 16, 1812–16 tuần
Data engineer muốn sang mảng rủi ro/ tài chínhLướt 3–8; tập trung 1–2, 5, 7, 10–17, 188–10 tuần
Chuyên viên rủi ro muốn tự động hoá1–8 kỹ, 11–16 theo nghiệp vụ của bạn, 1810–14 tuần
Trưởng nhóm/ kiến trúc sư1–2, 5–6, 9–10, 16–184–6 tuần

📘 18 Module

Phần 0 · Nền tảng: rủi ro & dữ liệu

Phần 1 · Thu thập & lưu trữ dữ liệu rủi ro

Phần 2 · Chất lượng, pipeline & quản trị dữ liệu

✓
Module 72 tuần

🧪 Chất lượng dữ liệu: kiểm tra, cách ly, đối soát và hợp đồng dữ liệu

Sáu chiều chất lượng dữ liệu, viết bộ kiểm tra bằng SQL và Python trên file hoá đơn lỗi (1.816 dòng, có 106 dòng lỗi cài sẵn), mẫu cách ly dòng lỗi, đối soát với sổ cái, và hợp đồng dữ liệu giữa nhóm nguồn và nhóm rủi ro.

Trung cấpData qualityQuarantineReconciliation
✓
Module 82 tuần

⏱️ Điều phối pipeline: Airflow, dbt, SLA và chạy bù

Thiết kế DAG hằng ngày cho nền tảng rủi ro An Phát: trích xuất, kiểm tra chất lượng, dbt build, đối soát, xuất báo cáo; viết DAG bằng Airflow, mô hình incremental bằng dbt, thiết kế tác vụ luỹ đẳng để chạy bù, tính SLA và giám sát độ tươi dữ liệu.

Trung cấpAirflowdbtDAG
✓
Module 92 tuần

⚡ Streaming: kiểm soát hạn mức và cảnh báo gần thời gian thực

Khi nào rủi ro cần xử lý theo luồng, các khái niệm Kafka (topic, partition, offset, consumer group), xây bộ kiểm tra hạn mức khi tạo đơn hàng, đếm thanh toán theo cửa sổ thời gian bằng Flink SQL, xử lý sự kiện đến muộn và đảm bảo không xử lý trùng.

Nâng caoKafkaWindowingEvent time
✓
Module 101–2 tuần

🔐 Quản trị, bảo mật & tuân thủ dữ liệu rủi ro

Ai sở hữu dữ liệu, danh mục và từ điển nghiệp vụ, lineage để phân tích tác động, phân loại và bảo vệ dữ liệu cá nhân theo pháp luật Việt Nam, phân quyền theo vai trò và theo dòng, nhật ký truy cập và chính sách lưu giữ.

Trung cấpData governanceLineageDữ liệu cá nhân

Phần 3 · Phân tích rủi ro trên dữ liệu

✓
Module 112–3 tuần

💳 Rủi ro tín dụng khách hàng: đặc trưng, scorecard và dự phòng

Định nghĩa bài toán vỡ nợ đúng thời điểm, xây đặc trưng point-in-time cho 472 đại lý, đo sức mạnh biến bằng WoE/IV, huấn luyện hồi quy logistic, đánh giá bằng AUC/Gini và kiểm định chéo, quy đổi ra điểm, chia hạng rủi ro và nối vào dự phòng, hạn mức.

Nâng caoPDWoE/IVLogistic
✓
Module 122 tuần

💧 Rủi ro thanh khoản: dự báo dòng tiền 13 tuần và kiểm tra sức chịu đựng

Lãi mà vẫn có thể chết vì hết tiền. Dựng dự báo dòng tiền 13 tuần cho An Phát từ dữ liệu: thu công nợ dự kiến tính từ ngày đến hạn và hành vi trả của từng đại lý, chi nhà cung cấp, lương, thuế, trả nợ vay; chạy kịch bản căng thẳng và tìm tuần thủng ngưỡng tiền tối thiểu 20 tỷ.

Nâng caoCash flow forecast13 tuầnStress test
✓
Module 132 tuần

📉 Rủi ro thị trường: tỷ giá, VaR, Monte Carlo và kiểm định ngược

An Phát đang ngắn 5,5 triệu USD (≈ 144 tỷ). Đo rủi ro tỷ giá bằng VaR tham số, VaR lịch sử, Expected Shortfall, mô phỏng Monte Carlo 20 ngày, kiểm định ngược bằng “đèn giao thông” Basel, kịch bản sốc và đường ống dữ liệu thị trường.

Nâng caoTỷ giáVaRExpected Shortfall
✓
Module 142 tuần

🕵️ Gian lận & bất thường: luật SQL, Benford, robust z và đánh đổi cảnh báo

Săn gian lận trong 2.356 khoản thanh toán nhà cung cấp năm 2025 của An Phát (có 56 khoản bất thường được cài sẵn và file đáp án để tự chấm): thanh toán trùng, nhà cung cấp “ma” dùng tài khoản nhân viên, chia nhỏ né ngưỡng phê duyệt, giao dịch ngoài giờ, luật Benford, robust z và đánh đổi precision/recall.

Nâng caoFraudDuplicateGhost vendor
✓
Module 151–2 tuần

🏭 Rủi ro nhà cung cấp & vận hành: tập trung, chấm điểm và cơ sở dữ liệu tổn thất

Đo mức độ phụ thuộc nhà cung cấp bằng HHI và tỷ trọng (HHI 660, NCC lớn nhất 18,7%), chấm điểm nhà cung cấp từ dữ liệu giao nhận, thiết kế cơ sở dữ liệu sự kiện tổn thất và KRI vận hành, và nhìn chính nền tảng dữ liệu như một nguồn rủi ro vận hành.

Trung cấpHHIVendor scorecardLoss event

Phần 4 · Vận hành & thực chiến

🗂️ Bộ dữ liệu thực hành: An Phát Distribution

CTCP Phân phối An Phát (giả định) bán hàng tiêu dùng và thiết bị điện cho 600 đại lý trên ba miền, cho nợ 30–60 ngày, doanh thu năm 2025 khoảng 3.234 tỷ đồng, vay 5,5 triệu USD (gồm cả phải trả nhà cung cấp nước ngoài) và thanh toán cho 60 nhà cung cấp. Bộ dữ liệu được sinh bằng code với seed cố định: bạn chạy lại sẽ ra đúng con số trong bài.

FileNội dungSố dòngDung lượng
dealers.csvDanh mục đại lý: vùng, phân khúc, hạn mức tín dụng, kỳ hạn60042 KB
invoices.csvHoá đơn bán chịu 2024–2025 và ngày thanh toán (trống = chưa trả tại 31/12/2025)23.4531.378 KB
fx_usdvnd.csvTỷ giá USD/VND ngày làm việc (giả lập)5229 KB
vendors.csvDanh mục nhà cung cấp và tài khoản ngân hàng613 KB
employees.csvDanh sách nhân viên và tài khoản ngân hàng (đã ẩn danh)501 KB
vendor_payments.csvThanh toán cho nhà cung cấp năm 2025 (có cài sẵn giao dịch bất thường)2.356119 KB
vendor_payments_labels.csvĐáp án: nhãn giao dịch bất thường để tự chấm2.35639 KB
invoices_dirty.csvHoá đơn tháng 11–12/2025 có lỗi dữ liệu cài sẵn (bài chất lượng dữ liệu)1.81696 KB
Bắt đầu trong 2 phút

Tải các file vào một thư mục, cài pip install duckdb pandas, rồi chạy:

import duckdb
con = duckdb.connect()
print(con.sql("SELECT COUNT(*) AS so_hoa_don, SUM(amount_vnd)/1e9 AS ty_dong FROM 'invoices.csv'"))

🛠️ Công cụ tương tác

💸 Tổn thất kỳ vọng (EL)

PD × LGD × EAD. (Module 2)

🔥 Ma trận rủi ro

Khả năng × tác động, rủi ro còn lại sau kiểm soát. (Module 2)

📅 Bảng tuổi nợ & dự phòng

Ma trận tỷ lệ tổn thất theo nhóm quá hạn. (Module 3, 11)

🧪 Điểm chất lượng dữ liệu

6 chiều chất lượng, ngưỡng chấp nhận. (Module 7)

⏱️ SLA pipeline

Giờ xong dự kiến và trường hợp xấu nhất có retry. (Module 8)

📉 VaR tỷ giá

VaR/ES tham số, kịch bản sốc. (Module 13)

💧 Đường băng thanh khoản

Số tuần trước khi thủng ngưỡng tiền tối thiểu. (Module 12)

🏭 Mức độ tập trung HHI

Phụ thuộc nhà cung cấp/ khách hàng. (Module 15)

🚨 Z-score & robust z

Phát hiện giá trị bất thường. (Module 14)

🔢 Kiểm định Benford

Dán danh sách số tiền, so với luật Benford. (Module 14)

📣 Khối lượng cảnh báo

Precision, recall và số giờ xử lý mỗi ngày. (Module 14, 16)

📊 PSI drift

Độ ổn định phân phối điểm mô hình. (Module 17)

🔗 Khoá học liên quan

🧱 Databricks for Data & AI Engineers

Xem khoá học →

🗄️ Database Engineering

Xem khoá học →

🔍 Phân tích BCTC & Định giá

Xem khoá học →

🎓 CFA Level I → III

Xem khoá học →