Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 4 · Vận hành & thực chiến / Module 17
🩺 Module 17 / 18 · 1–2 tuần Nâng cao

Vận hành mô hình rủi ro: giám sát trôi, hiệu chuẩn và quản trị mô hình

Mô hình chấm điểm cũng là một rủi ro. Lập danh mục mô hình, giám sát trôi dữ liệu bằng PSI (An Phát: toàn bộ 0,007, nhóm đại lý mới 0,022), kiểm tra hiệu chuẩn PD theo hạng, đóng gói để tái lập (dữ liệu, code, tham số), và quy trình champion–challenger.

Model riskPSICalibrationMLflowChampion–challenger
📌 Vì sao module này quan trọng

Mô hình được xây trên dữ liệu quá khứ, nhưng được dùng cho tương lai. Khi thị trường đổi, khách hàng mới khác khách hàng cũ, hoặc pipeline đổi một định nghĩa, mô hình lặng lẽ sai đi. Ngân hàng gọi đây là rủi ro mô hình và có hẳn quy trình quản trị; doanh nghiệp dùng mô hình cho hạn mức tín dụng cũng cần phiên bản gọn của quy trình đó, và phần lớn là việc của dữ liệu.

🎯 Mục tiêu học tập

  • Lập danh mục mô hình và phân cấp mức độ trọng yếu
  • Tính và đọc PSI cho điểm và đặc trưng
  • Kiểm tra hiệu chuẩn PD dự báo so với thực tế theo hạng
  • Đóng gói huấn luyện tái lập được (dữ liệu, code, tham số)
  • Vận hành champion–challenger và kiểm định độc lập

🟢 Danh mục mô hình (model inventory)

TrườngVí dụ: mô hình PD đại lý
Mã, tên, phiên bảnCR-PD-001 · PD đại lý 12 tháng · v1.0
Mục đích sử dụngXếp hạng đại lý để đặt hạn mức; KHÔNG dùng cho dự phòng trên BCTC
Mức trọng yếuCao (ảnh hưởng quyết định tín dụng ~600 đại lý)
Dữ liệu huấn luyện472 đại lý, điểm quan sát 31/12/2024, bảng gold.credit_features@v12
Người phát triển / người kiểm địnhNhóm dữ liệu / Phòng rủi ro (độc lập)
Chỉ số giám sát và ngưỡngPSI điểm, AUC theo quý, tỷ lệ xấu theo hạng
Ngày kiểm định lạiHằng năm hoặc khi PSI > 0,25
Giới hạn đã biếtMẫu nhỏ (50 mẫu xấu); không có dữ liệu đại lý mới < 1 năm

🟡 Trôi dữ liệu: PSI

PSI = Σ (%thực tế − %kỳ vọng) × ln(%thực tế / %kỳ vọng) < 0,1 ổn định · 0,1–0,25 theo dõi · > 0,25 trôi lớn (quy ước thực hành)
import numpy as np


def psi(expected, actual, bins=5):
    # Chia nhóm theo phân vị của tập kỳ vọng rồi so tỷ trọng từng nhóm.
    edges = np.quantile(expected, np.linspace(0, 1, bins + 1)[1:-1])
    e = np.bincount(np.searchsorted(edges, expected, side="right"), minlength=bins) / len(expected)
    a = np.bincount(np.searchsorted(edges, actual, side="right"), minlength=bins) / len(actual)
    e, a = np.clip(e, 1e-4, None), np.clip(a, 1e-4, None)
    return float(np.sum((a - e) * np.log(a / e)))


rng = np.random.default_rng(0)
dev = rng.normal(600, 40, 5000)                       # điểm lúc phát triển mô hình
print("Không đổi:     ", round(psi(dev, rng.normal(600, 40, 3000)), 3))
print("Dịch 10 điểm:  ", round(psi(dev, rng.normal(590, 40, 3000)), 3))
print("Dịch 30 điểm:  ", round(psi(dev, rng.normal(570, 45, 3000)), 3))
Không đổi:      0.003
Dịch 10 điểm:   0.059
Dịch 30 điểm:   0.404
Phân phối điểm theo 5 nhóm: lúc phát triển và hiện tại06.6113.219.826.419.917.623Nhóm 1 (điểm thấp)19.918.918.6Nhóm 220.122.422.1Nhóm 319.919.815Nhóm 420.121.321.2Nhóm 5 (điểm cao)Lúc phát triển (%)Toàn bộ 31/12/2025 (%)Đại lý mới (113) (%)
PSI toàn bộ 0,007, nhóm đại lý mới gia nhập 2024–2025 0,022: đều ổn định. Nhưng ổn định về phân phối điểm không có nghĩa mô hình còn đúng cho đại lý mới, vì mô hình chưa từng thấy nhãn của nhóm này.
  • Giám sát PSI cho điểm và cho từng đặc trưng: điểm ổn định nhưng một đặc trưng trôi mạnh có thể là do pipeline đổi định nghĩa.
  • Trôi đột ngột sau một lần triển khai pipeline gần như luôn là lỗi dữ liệu, không phải thị trường thay đổi. Kiểm tra lineage (module 10) trước.

🟡 Hiệu chuẩn: PD dự báo có khớp thực tế không

HạngPD dự báo TBTỷ lệ xấu thực tếChênh
A (rất thấp)2,7%1,1%-1,7 điểm %
B (thấp)4,5%2,1%-2,4 điểm %
C (trung bình)6,6%5,3%-1,3 điểm %
D (cao)10,9%19,1%8,2 điểm %
E (rất cao)28,1%25,3%-2,8 điểm %
Hiệu chuẩn theo hạng (mẫu phát triển)08.0816.224.232.32.71.1A4.52.1B6.65.3C10.919.1D28.125.3EPD dự báo (%)Thực tế (%)
Xếp hạng tốt (thực tế tăng dần A→E) nhưng mức xác suất có chỗ lệch: hạng D thực tế cao hơn dự báo. Khi dùng PD cho tính toán tiền (EL, dự phòng), hiệu chuẩn quan trọng ngang xếp hạng.

Trên dữ liệu thật, bảng này được tính lại mỗi khi cửa sổ kết quả “chín” (đủ 12 tháng sau điểm quan sát). Pipeline cần lưu điểm tại thời điểm chấm (không tính lại bằng mô hình mới) để so sánh công bằng.

🟡 Tái lập được: dữ liệu + code + tham số

import mlflow
import mlflow.sklearn

mlflow.set_experiment("credit-pd-dealer")
with mlflow.start_run(run_name="pd_v1_asof_2024-12-31"):
    mlflow.log_params({
        "asof": "2024-12-31",
        "bad_definition": "dpd>90 trong 12 thang",
        "features": ",".join(FEATURES),
        "training_table": "gold.credit_features",
        "training_table_version": 12,          # phiên bản Delta/Iceberg (time travel) dùng để huấn luyện
        "git_commit": GIT_SHA,
    })
    model.fit(X_train, y_train)
    mlflow.log_metrics({"auc_cv": auc_cv, "gini_cv": 2 * auc_cv - 1, "bad_rate": y_train.mean()})
    mlflow.sklearn.log_model(model, name="model")   # MLflow 3; bản cũ: artifact_path="model"
    mlflow.log_dict(band_cuts, "band_cuts.json")
Phải lưuĐể làm gì
Phiên bản bảng đặc trưng (time travel)Huấn luyện lại ra đúng mô hình cũ khi kiểm toán hỏi
Commit codeBiết chính xác logic đặc trưng và tiền xử lý
Tham số, ngưỡng hạngÁp dụng nhất quán
Điểm đã chấm cho từng khách tại từng ngàyGiám sát, hiệu chuẩn, giải thích quyết định

🔴 Champion–challenger và kiểm định độc lập

Championmô hình đang dùng, ra quyết định
Challengermô hình mới, chỉ chấm điểm song song
So sánhAUC, hiệu chuẩn, ổn định sau 3–6 tháng
Phê duyệtkiểm định độc lập + chủ sở hữu ký
Thay thếcó kế hoạch, lưu champion cũ
Dấu hiệu cần phát triển lạiNgưỡng gợi ý
PSI điểm> 0,25 hai kỳ liên tiếp
AUC theo quýGiảm > 0,05 so với lúc phát triển
Hiệu chuẩnTỷ lệ xấu thực tế lệch dự báo > 50% ở hai hạng trở lên
Thay đổi nghiệp vụChính sách tín dụng mới, phân khúc khách mới, sáp nhập
Tách vai

Người xây mô hình không tự kiểm định mô hình của mình. Ở doanh nghiệp nhỏ, “độc lập” có thể là phòng rủi ro hoặc một chuyên gia bên ngoài đọc tài liệu mô hình, chạy lại trên dữ liệu kiểm định và ký xác nhận.

⚠️ Sai lầm thường mắc

❌ Triển khai xong là xong

Vì sao nguy hiểm: Mô hình xuống cấp không ai biết.

Cách làm đúng: Giám sát PSI, AUC, hiệu chuẩn định kỳ.

❌ Tính lại điểm quá khứ bằng mô hình mới

Vì sao nguy hiểm: Không đánh giá được mô hình cũ.

Cách làm đúng: Lưu điểm tại thời điểm chấm.

❌ Không lưu phiên bản dữ liệu huấn luyện

Vì sao nguy hiểm: Không tái lập được.

Cách làm đúng: Time travel + MLflow log params.

❌ Coi PSI thấp là mô hình còn tốt

Vì sao nguy hiểm: PSI không đo độ chính xác.

Cách làm đúng: Kết hợp hiệu chuẩn và AUC khi có nhãn.

❌ Dùng mô hình ngoài mục đích

Vì sao nguy hiểm: Mô hình xếp hạng bị dùng cho dự phòng BCTC.

Cách làm đúng: Ghi rõ mục đích và giới hạn trong danh mục.

❌ Người phát triển tự kiểm định

Vì sao nguy hiểm: Điểm mù không ai thấy.

Cách làm đúng: Kiểm định độc lập.

📌 Cần nhớ
  • Mỗi mô hình có mục trong danh mục: mục đích, dữ liệu, người kiểm định, giới hạn.
  • PSI < 0,1 ổn định; An Phát 0,007 (toàn bộ), 0,022 (đại lý mới).
  • Hiệu chuẩn theo hạng: PD dự báo so với thực tế.
  • Tái lập = phiên bản dữ liệu + commit code + tham số + điểm đã chấm.
  • Champion–challenger, kiểm định độc lập trước khi thay.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. PSI = 0,32 cho điểm tháng này. Nên:
A. Bỏ qua
B. Điều tra nguyên nhân (dữ liệu/ quần thể), cân nhắc phát triển lại
C. Xoá mô hình ngay
Đáp án: B. Trôi lớn cần điều tra.
2. PSI tăng vọt ngay sau một lần sửa pipeline. Nghi vấn đầu tiên:
A. Thị trường sụp đổ
B. Lỗi/ thay đổi định nghĩa dữ liệu
C. Mô hình tự hỏng
Đáp án: B. Kiểm tra lineage trước.
3. Hiệu chuẩn tốt nghĩa là:
A. AUC cao
B. PD dự báo gần tỷ lệ xấu thực tế
C. PSI thấp
Đáp án: B. Định nghĩa calibration.
4. Để huấn luyện lại đúng mô hình cũ, cần lưu:
A. Chỉ file mô hình
B. Phiên bản dữ liệu, commit code, tham số
C. Ảnh chụp màn hình
Đáp án: B. Ba thành phần tái lập.
5. Trong champion–challenger, challenger:
A. Ra quyết định ngay
B. Chấm điểm song song, chưa ra quyết định
C. Thay champion lập tức
Đáp án: B. So sánh an toàn.

🏋️ Bài tập thực hành

Báo cáo giám sát mô hình hằng quý

Viết script tạo báo cáo giám sát cho mô hình PD: PSI điểm và PSI từng đặc trưng (so với 31/12/2024), phân phối hạng hiện tại, bảng hiệu chuẩn trên các cửa sổ đã chín, và kết luận Xanh/Vàng/Đỏ theo ngưỡng trong danh mục. Xuất HTML hoặc Markdown.

💡 Gợi ý lời giải
Tái dùng hàm psi(); với đặc trưng rời rạc (segment) tính PSI trên tần suất từng giá trị. Ghi kết quả vào bảng model_monitoring(model_id, asof, metric, value, status) để vẽ xu hướng trên dashboard module 16.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Viết mục danh mục cho mô hình PD
  • Chạy hàm PSI
  • Đọc bảng hiệu chuẩn
  • Thiết kế log MLflow tái lập
  • Viết quy trình champion–challenger 1 trang
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.