Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 3 · Phân tích rủi ro trên dữ liệu / Module 14
🕵️ Module 14 / 18 · 2 tuần Nâng cao

Gian lận & bất thường: luật SQL, Benford, robust z và đánh đổi cảnh báo

Săn gian lận trong 2.356 khoản thanh toán nhà cung cấp năm 2025 của An Phát (có 56 khoản bất thường được cài sẵn và file đáp án để tự chấm): thanh toán trùng, nhà cung cấp “ma” dùng tài khoản nhân viên, chia nhỏ né ngưỡng phê duyệt, giao dịch ngoài giờ, luật Benford, robust z và đánh đổi precision/recall.

FraudDuplicateGhost vendorBenfordRobust zPrecision/Recall
📌 Vì sao module này quan trọng

Gian lận nội bộ hiếm khi lộ ra bằng một con số khổng lồ; nó trốn trong hàng nghìn giao dịch nhìn rất bình thường. Phần lớn vụ việc bị phát hiện nhờ luật đơn giản chạy đều đặn trên dữ liệu đầy đủ, không phải nhờ AI phức tạp. Nhưng luật quá nhạy sẽ chôn đội kiểm tra dưới cảnh báo giả, nên thiết kế cảnh báo cũng quan trọng như phát hiện.

🎯 Mục tiêu học tập

  • Liệt kê các kiểu gian lận thanh toán phổ biến và dấu vết dữ liệu
  • Viết luật SQL phát hiện trùng, NCC ma, chia nhỏ
  • Áp dụng Benford đúng cách và hiểu giới hạn
  • Dùng robust z trên log số tiền
  • Kết hợp điểm luật và chọn ngưỡng theo precision/recall

🟢 Gian lận để lại dấu vết gì

KiểuMô tảDấu vết dữ liệu
Thanh toán trùngCùng hoá đơn được trả hai lần (nhầm hoặc cố ý)Cùng NCC, số tiền, số hoá đơn, gần ngày
Nhà cung cấp maNhân viên tạo NCC giả, chuyển tiền về tài khoản mìnhTài khoản NCC trùng tài khoản nhân viên; NCC mới; người tạo = người thanh toán
Chia nhỏ né ngưỡngTách khoản lớn thành nhiều khoản dưới hạn mức phê duyệtNhiều khoản sát dưới ngưỡng, cùng người tạo
Ngoài giờGhi nhận đêm khuya, cuối tuần khi ít kiểm soátGiờ/ ngày bất thường
Đổi tài khoản nhậnSửa tài khoản NCC ngay trước kỳ thanh toánLịch sử thay đổi danh mục NCC
Tam giác gian lận

Áp lực + cơ hội + hợp lý hoá. Dữ liệu không đo được áp lực, nhưng đo được cơ hội: một người vừa tạo NCC vừa lập lệnh chi là lỗ hổng phân quyền, cần sửa ở quy trình trước khi bắt bằng thuật toán.

🟡 Luật 1: thanh toán trùng

-- Thanh toán trùng: cùng NCC, cùng số tiền, cùng số hoá đơn, cách nhau ≤ 7 ngày
SELECT a.payment_id, b.payment_id AS trung_voi, a.vendor_id,
       a.amount_vnd, a.invoice_no, a.payment_date, b.payment_date AS ngay_lan_2
FROM 'vendor_payments.csv' a
JOIN 'vendor_payments.csv' b
  ON  a.vendor_id  = b.vendor_id
  AND a.amount_vnd = b.amount_vnd
  AND a.invoice_no = b.invoice_no
  AND a.payment_id < b.payment_id
  AND abs(b.payment_date - a.payment_date) <= 7
ORDER BY a.payment_date
LIMIT 5;
+------------+-----------+-----------+---------------+------------+--------------+------------+
| payment_id | trung_voi | vendor_id | amount_vnd    | invoice_no | payment_date | ngay_lan_2 |
+------------+-----------+-----------+---------------+------------+--------------+------------+
| PAY01187   | PAY02310  | V019      | 1,035,052,000 | HD94355    |   2025-01-03 | 2025-01-06 |
| PAY02250   | PAY02313  | V006      |   563,397,000 | HD31621    |   2025-01-09 | 2025-01-12 |
| PAY01114   | PAY02305  | V001      |   472,667,000 | HD35532    |   2025-01-23 | 2025-01-26 |
| PAY02166   | PAY02303  | V005      |   669,786,000 | HD39054    |   2025-02-26 | 2025-03-02 |
| PAY01637   | PAY02302  | V002      |   527,422,000 | HD82232    |   2025-03-14 | 2025-03-15 |
+------------+-----------+-----------+---------------+------------+--------------+------------+
(5 dòng)

Tự nối bảng (self-join) với điều kiện khoảng thời gian. a.payment_id < b.payment_id để mỗi cặp chỉ xuất hiện một lần. Thực tế nên thêm biến thể “gần trùng”: cùng NCC, cùng số tiền, khác số hoá đơn một ký tự.

🟡 Luật 2: nhà cung cấp ma

-- Nhà cung cấp dùng chung tài khoản ngân hàng với nhân viên
SELECT v.vendor_id, v.vendor_name, v.created_date,
       e.employee_id, e.department,
       COUNT(p.payment_id)              AS so_lan_tt,
       ROUND(SUM(p.amount_vnd) / 1e6)   AS tong_trieu,
       COUNT(*) FILTER (WHERE p.hour >= 20 OR p.hour < 6) AS ngoai_gio
FROM 'vendors.csv' v
JOIN 'employees.csv' e USING (bank_account)
LEFT JOIN 'vendor_payments.csv' p USING (vendor_id)
GROUP BY ALL;
+-----------+-----------------------------+--------------+-------------+------------+-----------+------------+-----------+
| vendor_id | vendor_name                 | created_date | employee_id | department | so_lan_tt | tong_trieu | ngoai_gio |
+-----------+-----------------------------+--------------+-------------+------------+-----------+------------+-----------+
| V061      | NCC Thịnh Phát Logistics 61 |   2025-05-12 | E017        | Kho        |        10 |      2,166 |        10 |
+-----------+-----------------------------+--------------+-------------+------------+-----------+------------+-----------+
(1 dòng)
🎬 Một dòng kết quả, một vụ việc

V061 “Thịnh Phát Logistics” được tạo tháng 5/2025, dùng chung tài khoản ngân hàng với nhân viên E017 (bộ phận Kho), nhận 10 khoản thanh toán, tất cả ngoài giờ hành chính. Một phép JOIN đơn giản trên hai danh mục mà trước đây không ai đặt cạnh nhau. Với dữ liệu đã bút danh hoá (module 10), phép join vẫn chạy trên token.

-- Chia nhỏ để né ngưỡng phê duyệt 500 triệu: nhiều khoản sát dưới ngưỡng do cùng một người tạo
SELECT created_by, vendor_id,
       COUNT(*)                          AS so_khoan_450_500,
       ROUND(SUM(amount_vnd) / 1e9, 2)   AS tong_ty,
       MIN(payment_date)                 AS tu_ngay,
       MAX(payment_date)                 AS den_ngay
FROM 'vendor_payments.csv'
WHERE amount_vnd >= 450000000 AND amount_vnd < 500000000
GROUP BY ALL
HAVING COUNT(*) >= 3
ORDER BY so_khoan_450_500 DESC;
+------------+-----------+------------------+---------+------------+------------+
| created_by | vendor_id | so_khoan_450_500 | tong_ty | tu_ngay    | den_ngay   |
+------------+-----------+------------------+---------+------------+------------+
| E017       | V012      |               10 |    4.79 | 2025-07-29 | 2025-12-22 |
| E017       | V019      |                9 |     4.3 | 2025-08-12 | 2025-12-04 |
| E008       | V001      |                5 |    2.42 | 2025-01-31 | 2025-06-30 |
| E017       | V001      |                3 |    1.44 | 2025-01-23 | 2025-09-25 |
| E017       | V007      |                3 |    1.41 | 2025-03-05 | 2025-09-22 |
+------------+-----------+------------------+---------+------------+------------+
(5 dòng)

E017 cũng xuất hiện ở luật chia nhỏ: 19 khoản 450–500 triệu cho V012 và V019 trong nửa cuối năm. Đáng chú ý dòng E008/V001 cũng có 5 khoản sát ngưỡng: V001 là nhà cung cấp lớn nhất nên có nhiều khoản tự nhiên rơi vào khoảng này. Luật luôn sinh cảnh báo giả; người điều tra cần bối cảnh để phân biệt.

🟡 Luật Benford: tổng thể và quanh ngưỡng

-- Luật Benford cho chữ số đầu tiên của số tiền thanh toán
SELECT CAST(left(CAST(amount_vnd AS VARCHAR), 1) AS INTEGER) AS chu_so,
       COUNT(*)                                              AS so_luong,
       ROUND(100 * COUNT(*) / SUM(COUNT(*)) OVER (), 1)      AS thuc_te_pct,
       ROUND(100 * log10(1 + 1 / chu_so), 1)                 AS benford_pct
FROM 'vendor_payments.csv'
GROUP BY 1
ORDER BY 1;
+--------+----------+-------------+-------------+
| chu_so | so_luong | thuc_te_pct | benford_pct |
+--------+----------+-------------+-------------+
|      1 |      694 |        29.5 |        30.1 |
|      2 |      412 |        17.5 |        17.6 |
|      3 |      318 |        13.5 |        12.5 |
|      4 |      245 |        10.4 |         9.7 |
|      5 |      185 |         7.9 |         7.9 |
|      6 |      152 |         6.5 |         6.7 |
|      7 |      126 |         5.3 |         5.8 |
|      8 |      114 |         4.8 |         5.1 |
|      9 |      110 |         4.7 |         4.6 |
+--------+----------+-------------+-------------+
(9 dòng)
Chữ số đầu của số tiền thanh toán: thực tế và Benford08.6517.32634.629.530.1117.517.6213.512.5310.49.747.97.956.56.765.35.874.85.184.74.69Thực tế (%)Benford (%)
MAD = 4,0‰: khớp rất tốt (ngưỡng Nigrini cho chữ số đầu: ≤ 6‰ rất khớp). Benford tổng thể KHÔNG phát hiện được gì.

Nhưng soi quanh ngưỡng phê duyệt 500 triệu: khoảng 450–500 triệu có 75 khoản, còn 500–550 triệu chỉ có 50. Với phân phối số tiền trơn, hai khoảng liền kề này lẽ ra gần nhau. Bài học: Benford là công cụ khoanh vùng thô; gian lận nhỏ trong tập lớn bị pha loãng. Phân tích theo người tạo, theo NCC, quanh ngưỡng mới hiệu quả.

Khi nào Benford không áp dụng

Số có giới hạn trên/ dưới hoặc được đặt bởi con người: giá niêm yết, lương, phí cố định, số tiền luôn dưới 1 triệu. Cần tập số trải rộng vài bậc độ lớn và đủ lớn (vài trăm trở lên).

🟡 Thống kê: robust z trên log số tiền

robust z = 0,6745 × (ln x − trung vị ln x của NCC) / MAD(ln x) |robust z| > 3,5 → bất thường

So mỗi khoản với lịch sử của chính nhà cung cấp đó. Dùng log vì số tiền lệch phải; dùng trung vị và MAD thay vì trung bình và độ lệch chuẩn để không bị chính các điểm bất thường kéo lệch.

🔴 Kết hợp điểm và chọn ngưỡng cảnh báo

Mỗi luật cộng điểm: trùng +3, tài khoản trùng nhân viên +3, sát ngưỡng +2, ngoài giờ/ cuối tuần +2, robust z > 3,5 +1. Đối chiếu với file đáp án:

Ngưỡng điểm ≥Số cảnh báoBắt đúngPrecisionRecall (trên 56)
11215646%100%
21095651%100%
32525100%45%
41717100%30%
51616100%29%
611100%2%

Ngưỡng 2 bắt gần hết với khoảng 109 cảnh báo cả năm (vài cảnh báo mỗi tuần, đội nhỏ xử lý được). Ngưỡng 3 sạch hơn nhưng bỏ lọt hơn một nửa. Không có ngưỡng “đúng”: chọn theo năng lực xử lý và chi phí bỏ lọt. Ở quy mô lớn (hàng nghìn giao dịch/ngày), bài toán khác hẳn:

Bước tiếp theoKhi nào
Isolation Forest / mô hình học máy không giám sátNhiều chiều dữ liệu, luật không bao phủ hết
Đồ thị quan hệ (NCC – tài khoản – địa chỉ – SĐT – nhân viên)Gian lận có tổ chức, dùng chung thuộc tính
Mô hình có giám sátKhi đã tích luỹ đủ nhãn từ kết quả điều tra
Vòng phản hồiMỗi cảnh báo được điều tra phải ghi kết luận (đúng/ sai/ lý do) để cải thiện luật

⚠️ Sai lầm thường mắc

❌ Chỉ chạy Benford tổng thể

Vì sao nguy hiểm: Gian lận nhỏ bị pha loãng, kết luận “sạch”.

Cách làm đúng: Phân tích theo nhóm, quanh ngưỡng, theo người tạo.

❌ Coi cảnh báo là kết luận

Vì sao nguy hiểm: Buộc tội oan, rủi ro pháp lý và nhân sự.

Cách làm đúng: Cảnh báo là đầu vào cho điều tra có quy trình.

❌ Quá nhiều luật nhạy

Vì sao nguy hiểm: Mệt mỏi cảnh báo, bỏ qua cả cảnh báo đúng.

Cách làm đúng: Chấm điểm, chọn ngưỡng theo năng lực.

❌ Không lưu kết quả điều tra

Vì sao nguy hiểm: Không bao giờ đo được precision thật.

Cách làm đúng: Vòng phản hồi có nhãn.

❌ Z-score trên số tiền gốc

Vì sao nguy hiểm: Phân phối lệch, độ lệch chuẩn bị phình.

Cách làm đúng: Log + trung vị/ MAD.

❌ Cho nghi phạm xem cảnh báo

Vì sao nguy hiểm: Lộ thông tin, xoá dấu vết.

Cách làm đúng: Phân quyền chặt cho bảng cảnh báo (module 10).

📌 Cần nhớ
  • Gian lận để lại dấu vết: trùng, tài khoản trùng nhân viên, sát ngưỡng, ngoài giờ.
  • Luật SQL đơn giản (self-join, join danh mục) bắt được phần lớn.
  • Benford tổng thể khớp (MAD 4,0‰) nhưng quanh ngưỡng lộ bất thường (75 so với 50).
  • Robust z trên log, so với lịch sử của chính NCC.
  • Kết hợp điểm, chọn ngưỡng theo precision/recall và năng lực xử lý.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Luật nào phát hiện nhà cung cấp ma tốt nhất?
A. Benford
B. Join tài khoản ngân hàng NCC với tài khoản nhân viên
C. Đếm số NCC
Đáp án: B. Dấu vết trực tiếp.
2. Ngưỡng phê duyệt 500 triệu. Dấu hiệu chia nhỏ:
A. Nhiều khoản 450–499 triệu cùng người tạo
B. Một khoản 2 tỷ có phê duyệt
C. Khoản 10 triệu
Đáp án: A. Né ngưỡng.
3. MAD Benford rất nhỏ nghĩa là:
A. Chắc chắn không có gian lận
B. Phân phối tổng thể khớp Benford; gian lận nhỏ vẫn có thể tồn tại
C. Dữ liệu sai
Đáp án: B. Benford là công cụ thô.
4. Tỷ lệ gian lận 0,1%, luật có tỷ lệ báo nhầm 2%. Precision sẽ:
A. Rất cao
B. Rất thấp
C. Bằng recall
Đáp án: B. Báo nhầm áp đảo khi gian lận hiếm.
5. Vì sao dùng trung vị/MAD thay cho trung bình/độ lệch chuẩn?
A. Nhanh hơn
B. Ít bị chính điểm bất thường kéo lệch
C. Không có lý do
Đáp án: B. Tính chống nhiễu.

🏋️ Bài tập thực hành

Tự chấm bộ luật của bạn

Cài 5 luật trong bài thành một truy vấn chấm điểm trên vendor_payments.csv, join vendor_payments_labels.csv để tính precision, recall theo từng ngưỡng. Thêm một luật mới của riêng bạn (ví dụ: NCC mới tạo < 60 ngày nhận khoản đầu > 200 triệu) và đo nó cải thiện được gì.

💡 Gợi ý lời giải
Mỗi luật là một CTE trả về payment_id + điểm; UNION ALL rồi GROUP BY payment_id lấy SUM(điểm). LEFT JOIN về toàn bộ thanh toán (điểm 0 cho dòng không dính luật) rồi join nhãn. Precision = SUM(label<>'normal')/COUNT(*) trong nhóm bị gắn cờ.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Chạy 3 luật SQL
  • Chạy Benford và phân tích quanh ngưỡng
  • Thử robust z bằng công cụ
  • Đọc bảng precision/recall
  • Làm bài tập tự chấm
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.