Vận hành mô hình rủi ro: giám sát trôi, hiệu chuẩn và quản trị mô hình
Mô hình chấm điểm cũng là một rủi ro. Lập danh mục mô hình, giám sát trôi dữ liệu bằng PSI (An Phát: toàn bộ 0,007, nhóm đại lý mới 0,022), kiểm tra hiệu chuẩn PD theo hạng, đóng gói để tái lập (dữ liệu, code, tham số), và quy trình champion–challenger.
Mô hình được xây trên dữ liệu quá khứ, nhưng được dùng cho tương lai. Khi thị trường đổi, khách hàng mới khác khách hàng cũ, hoặc pipeline đổi một định nghĩa, mô hình lặng lẽ sai đi. Ngân hàng gọi đây là rủi ro mô hình và có hẳn quy trình quản trị; doanh nghiệp dùng mô hình cho hạn mức tín dụng cũng cần phiên bản gọn của quy trình đó, và phần lớn là việc của dữ liệu.
🎯 Mục tiêu học tập
- Lập danh mục mô hình và phân cấp mức độ trọng yếu
- Tính và đọc PSI cho điểm và đặc trưng
- Kiểm tra hiệu chuẩn PD dự báo so với thực tế theo hạng
- Đóng gói huấn luyện tái lập được (dữ liệu, code, tham số)
- Vận hành champion–challenger và kiểm định độc lập
🟢 Danh mục mô hình (model inventory)
| Trường | Ví dụ: mô hình PD đại lý |
|---|---|
| Mã, tên, phiên bản | CR-PD-001 · PD đại lý 12 tháng · v1.0 |
| Mục đích sử dụng | Xếp hạng đại lý để đặt hạn mức; KHÔNG dùng cho dự phòng trên BCTC |
| Mức trọng yếu | Cao (ảnh hưởng quyết định tín dụng ~600 đại lý) |
| Dữ liệu huấn luyện | 472 đại lý, điểm quan sát 31/12/2024, bảng gold.credit_features@v12 |
| Người phát triển / người kiểm định | Nhóm dữ liệu / Phòng rủi ro (độc lập) |
| Chỉ số giám sát và ngưỡng | PSI điểm, AUC theo quý, tỷ lệ xấu theo hạng |
| Ngày kiểm định lại | Hằng năm hoặc khi PSI > 0,25 |
| Giới hạn đã biết | Mẫu nhỏ (50 mẫu xấu); không có dữ liệu đại lý mới < 1 năm |
🟡 Trôi dữ liệu: PSI
import numpy as np
def psi(expected, actual, bins=5):
# Chia nhóm theo phân vị của tập kỳ vọng rồi so tỷ trọng từng nhóm.
edges = np.quantile(expected, np.linspace(0, 1, bins + 1)[1:-1])
e = np.bincount(np.searchsorted(edges, expected, side="right"), minlength=bins) / len(expected)
a = np.bincount(np.searchsorted(edges, actual, side="right"), minlength=bins) / len(actual)
e, a = np.clip(e, 1e-4, None), np.clip(a, 1e-4, None)
return float(np.sum((a - e) * np.log(a / e)))
rng = np.random.default_rng(0)
dev = rng.normal(600, 40, 5000) # điểm lúc phát triển mô hình
print("Không đổi: ", round(psi(dev, rng.normal(600, 40, 3000)), 3))
print("Dịch 10 điểm: ", round(psi(dev, rng.normal(590, 40, 3000)), 3))
print("Dịch 30 điểm: ", round(psi(dev, rng.normal(570, 45, 3000)), 3))Không đổi: 0.003
Dịch 10 điểm: 0.059
Dịch 30 điểm: 0.404- Giám sát PSI cho điểm và cho từng đặc trưng: điểm ổn định nhưng một đặc trưng trôi mạnh có thể là do pipeline đổi định nghĩa.
- Trôi đột ngột sau một lần triển khai pipeline gần như luôn là lỗi dữ liệu, không phải thị trường thay đổi. Kiểm tra lineage (module 10) trước.
🟡 Hiệu chuẩn: PD dự báo có khớp thực tế không
| Hạng | PD dự báo TB | Tỷ lệ xấu thực tế | Chênh |
|---|---|---|---|
| A (rất thấp) | 2,7% | 1,1% | -1,7 điểm % |
| B (thấp) | 4,5% | 2,1% | -2,4 điểm % |
| C (trung bình) | 6,6% | 5,3% | -1,3 điểm % |
| D (cao) | 10,9% | 19,1% | 8,2 điểm % |
| E (rất cao) | 28,1% | 25,3% | -2,8 điểm % |
Trên dữ liệu thật, bảng này được tính lại mỗi khi cửa sổ kết quả “chín” (đủ 12 tháng sau điểm quan sát). Pipeline cần lưu điểm tại thời điểm chấm (không tính lại bằng mô hình mới) để so sánh công bằng.
🟡 Tái lập được: dữ liệu + code + tham số
import mlflow
import mlflow.sklearn
mlflow.set_experiment("credit-pd-dealer")
with mlflow.start_run(run_name="pd_v1_asof_2024-12-31"):
mlflow.log_params({
"asof": "2024-12-31",
"bad_definition": "dpd>90 trong 12 thang",
"features": ",".join(FEATURES),
"training_table": "gold.credit_features",
"training_table_version": 12, # phiên bản Delta/Iceberg (time travel) dùng để huấn luyện
"git_commit": GIT_SHA,
})
model.fit(X_train, y_train)
mlflow.log_metrics({"auc_cv": auc_cv, "gini_cv": 2 * auc_cv - 1, "bad_rate": y_train.mean()})
mlflow.sklearn.log_model(model, name="model") # MLflow 3; bản cũ: artifact_path="model"
mlflow.log_dict(band_cuts, "band_cuts.json")| Phải lưu | Để làm gì |
|---|---|
| Phiên bản bảng đặc trưng (time travel) | Huấn luyện lại ra đúng mô hình cũ khi kiểm toán hỏi |
| Commit code | Biết chính xác logic đặc trưng và tiền xử lý |
| Tham số, ngưỡng hạng | Áp dụng nhất quán |
| Điểm đã chấm cho từng khách tại từng ngày | Giám sát, hiệu chuẩn, giải thích quyết định |
🔴 Champion–challenger và kiểm định độc lập
| Dấu hiệu cần phát triển lại | Ngưỡng gợi ý |
|---|---|
| PSI điểm | > 0,25 hai kỳ liên tiếp |
| AUC theo quý | Giảm > 0,05 so với lúc phát triển |
| Hiệu chuẩn | Tỷ lệ xấu thực tế lệch dự báo > 50% ở hai hạng trở lên |
| Thay đổi nghiệp vụ | Chính sách tín dụng mới, phân khúc khách mới, sáp nhập |
Người xây mô hình không tự kiểm định mô hình của mình. Ở doanh nghiệp nhỏ, “độc lập” có thể là phòng rủi ro hoặc một chuyên gia bên ngoài đọc tài liệu mô hình, chạy lại trên dữ liệu kiểm định và ký xác nhận.
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Mô hình xuống cấp không ai biết.
Cách làm đúng: Giám sát PSI, AUC, hiệu chuẩn định kỳ.
Vì sao nguy hiểm: Không đánh giá được mô hình cũ.
Cách làm đúng: Lưu điểm tại thời điểm chấm.
Vì sao nguy hiểm: Không tái lập được.
Cách làm đúng: Time travel + MLflow log params.
Vì sao nguy hiểm: PSI không đo độ chính xác.
Cách làm đúng: Kết hợp hiệu chuẩn và AUC khi có nhãn.
Vì sao nguy hiểm: Mô hình xếp hạng bị dùng cho dự phòng BCTC.
Cách làm đúng: Ghi rõ mục đích và giới hạn trong danh mục.
Vì sao nguy hiểm: Điểm mù không ai thấy.
Cách làm đúng: Kiểm định độc lập.
- Mỗi mô hình có mục trong danh mục: mục đích, dữ liệu, người kiểm định, giới hạn.
- PSI < 0,1 ổn định; An Phát 0,007 (toàn bộ), 0,022 (đại lý mới).
- Hiệu chuẩn theo hạng: PD dự báo so với thực tế.
- Tái lập = phiên bản dữ liệu + commit code + tham số + điểm đã chấm.
- Champion–challenger, kiểm định độc lập trước khi thay.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. PSI = 0,32 cho điểm tháng này. Nên:
A. Bỏ qua
B. Điều tra nguyên nhân (dữ liệu/ quần thể), cân nhắc phát triển lại
C. Xoá mô hình ngay
2. PSI tăng vọt ngay sau một lần sửa pipeline. Nghi vấn đầu tiên:
A. Thị trường sụp đổ
B. Lỗi/ thay đổi định nghĩa dữ liệu
C. Mô hình tự hỏng
3. Hiệu chuẩn tốt nghĩa là:
A. AUC cao
B. PD dự báo gần tỷ lệ xấu thực tế
C. PSI thấp
4. Để huấn luyện lại đúng mô hình cũ, cần lưu:
A. Chỉ file mô hình
B. Phiên bản dữ liệu, commit code, tham số
C. Ảnh chụp màn hình
5. Trong champion–challenger, challenger:
A. Ra quyết định ngay
B. Chấm điểm song song, chưa ra quyết định
C. Thay champion lập tức
🏋️ Bài tập thực hành
Viết script tạo báo cáo giám sát cho mô hình PD: PSI điểm và PSI từng đặc trưng (so với 31/12/2024), phân phối hạng hiện tại, bảng hiệu chuẩn trên các cửa sổ đã chín, và kết luận Xanh/Vàng/Đỏ theo ngưỡng trong danh mục. Xuất HTML hoặc Markdown.
💡 Gợi ý lời giải
psi(); với đặc trưng rời rạc (segment) tính PSI trên tần suất từng giá trị. Ghi kết quả vào bảng model_monitoring(model_id, asof, metric, value, status) để vẽ xu hướng trên dashboard module 16.📚 Tài nguyên học tập
- Federal Reserve SR 11-7: Model Risk ManagementHướng dẫn kinh điển về quản trị rủi ro mô hìnhChuẩn mực
- MLflow DocumentationTheo dõi thí nghiệm, đăng ký mô hìnhTài liệu
- Evidently AI DocumentationBáo cáo trôi dữ liệu, giám sát mô hìnhTài liệu
✅ Tự đánh giá hoàn thành
- Viết mục danh mục cho mô hình PD
- Chạy hàm PSI
- Đọc bảng hiệu chuẩn
- Thiết kế log MLflow tái lập
- Viết quy trình champion–challenger 1 trang