Gian lận & bất thường: luật SQL, Benford, robust z và đánh đổi cảnh báo
Săn gian lận trong 2.356 khoản thanh toán nhà cung cấp năm 2025 của An Phát (có 56 khoản bất thường được cài sẵn và file đáp án để tự chấm): thanh toán trùng, nhà cung cấp “ma” dùng tài khoản nhân viên, chia nhỏ né ngưỡng phê duyệt, giao dịch ngoài giờ, luật Benford, robust z và đánh đổi precision/recall.
Gian lận nội bộ hiếm khi lộ ra bằng một con số khổng lồ; nó trốn trong hàng nghìn giao dịch nhìn rất bình thường. Phần lớn vụ việc bị phát hiện nhờ luật đơn giản chạy đều đặn trên dữ liệu đầy đủ, không phải nhờ AI phức tạp. Nhưng luật quá nhạy sẽ chôn đội kiểm tra dưới cảnh báo giả, nên thiết kế cảnh báo cũng quan trọng như phát hiện.
🎯 Mục tiêu học tập
- Liệt kê các kiểu gian lận thanh toán phổ biến và dấu vết dữ liệu
- Viết luật SQL phát hiện trùng, NCC ma, chia nhỏ
- Áp dụng Benford đúng cách và hiểu giới hạn
- Dùng robust z trên log số tiền
- Kết hợp điểm luật và chọn ngưỡng theo precision/recall
🟢 Gian lận để lại dấu vết gì
| Kiểu | Mô tả | Dấu vết dữ liệu |
|---|---|---|
| Thanh toán trùng | Cùng hoá đơn được trả hai lần (nhầm hoặc cố ý) | Cùng NCC, số tiền, số hoá đơn, gần ngày |
| Nhà cung cấp ma | Nhân viên tạo NCC giả, chuyển tiền về tài khoản mình | Tài khoản NCC trùng tài khoản nhân viên; NCC mới; người tạo = người thanh toán |
| Chia nhỏ né ngưỡng | Tách khoản lớn thành nhiều khoản dưới hạn mức phê duyệt | Nhiều khoản sát dưới ngưỡng, cùng người tạo |
| Ngoài giờ | Ghi nhận đêm khuya, cuối tuần khi ít kiểm soát | Giờ/ ngày bất thường |
| Đổi tài khoản nhận | Sửa tài khoản NCC ngay trước kỳ thanh toán | Lịch sử thay đổi danh mục NCC |
Áp lực + cơ hội + hợp lý hoá. Dữ liệu không đo được áp lực, nhưng đo được cơ hội: một người vừa tạo NCC vừa lập lệnh chi là lỗ hổng phân quyền, cần sửa ở quy trình trước khi bắt bằng thuật toán.
🟡 Luật 1: thanh toán trùng
-- Thanh toán trùng: cùng NCC, cùng số tiền, cùng số hoá đơn, cách nhau ≤ 7 ngày
SELECT a.payment_id, b.payment_id AS trung_voi, a.vendor_id,
a.amount_vnd, a.invoice_no, a.payment_date, b.payment_date AS ngay_lan_2
FROM 'vendor_payments.csv' a
JOIN 'vendor_payments.csv' b
ON a.vendor_id = b.vendor_id
AND a.amount_vnd = b.amount_vnd
AND a.invoice_no = b.invoice_no
AND a.payment_id < b.payment_id
AND abs(b.payment_date - a.payment_date) <= 7
ORDER BY a.payment_date
LIMIT 5;+------------+-----------+-----------+---------------+------------+--------------+------------+
| payment_id | trung_voi | vendor_id | amount_vnd | invoice_no | payment_date | ngay_lan_2 |
+------------+-----------+-----------+---------------+------------+--------------+------------+
| PAY01187 | PAY02310 | V019 | 1,035,052,000 | HD94355 | 2025-01-03 | 2025-01-06 |
| PAY02250 | PAY02313 | V006 | 563,397,000 | HD31621 | 2025-01-09 | 2025-01-12 |
| PAY01114 | PAY02305 | V001 | 472,667,000 | HD35532 | 2025-01-23 | 2025-01-26 |
| PAY02166 | PAY02303 | V005 | 669,786,000 | HD39054 | 2025-02-26 | 2025-03-02 |
| PAY01637 | PAY02302 | V002 | 527,422,000 | HD82232 | 2025-03-14 | 2025-03-15 |
+------------+-----------+-----------+---------------+------------+--------------+------------+
(5 dòng)Tự nối bảng (self-join) với điều kiện khoảng thời gian. a.payment_id < b.payment_id để mỗi cặp chỉ xuất hiện một lần. Thực tế nên thêm biến thể “gần trùng”: cùng NCC, cùng số tiền, khác số hoá đơn một ký tự.
🟡 Luật 2: nhà cung cấp ma
-- Nhà cung cấp dùng chung tài khoản ngân hàng với nhân viên
SELECT v.vendor_id, v.vendor_name, v.created_date,
e.employee_id, e.department,
COUNT(p.payment_id) AS so_lan_tt,
ROUND(SUM(p.amount_vnd) / 1e6) AS tong_trieu,
COUNT(*) FILTER (WHERE p.hour >= 20 OR p.hour < 6) AS ngoai_gio
FROM 'vendors.csv' v
JOIN 'employees.csv' e USING (bank_account)
LEFT JOIN 'vendor_payments.csv' p USING (vendor_id)
GROUP BY ALL;+-----------+-----------------------------+--------------+-------------+------------+-----------+------------+-----------+
| vendor_id | vendor_name | created_date | employee_id | department | so_lan_tt | tong_trieu | ngoai_gio |
+-----------+-----------------------------+--------------+-------------+------------+-----------+------------+-----------+
| V061 | NCC Thịnh Phát Logistics 61 | 2025-05-12 | E017 | Kho | 10 | 2,166 | 10 |
+-----------+-----------------------------+--------------+-------------+------------+-----------+------------+-----------+
(1 dòng)V061 “Thịnh Phát Logistics” được tạo tháng 5/2025, dùng chung tài khoản ngân hàng với nhân viên E017 (bộ phận Kho), nhận 10 khoản thanh toán, tất cả ngoài giờ hành chính. Một phép JOIN đơn giản trên hai danh mục mà trước đây không ai đặt cạnh nhau. Với dữ liệu đã bút danh hoá (module 10), phép join vẫn chạy trên token.
-- Chia nhỏ để né ngưỡng phê duyệt 500 triệu: nhiều khoản sát dưới ngưỡng do cùng một người tạo
SELECT created_by, vendor_id,
COUNT(*) AS so_khoan_450_500,
ROUND(SUM(amount_vnd) / 1e9, 2) AS tong_ty,
MIN(payment_date) AS tu_ngay,
MAX(payment_date) AS den_ngay
FROM 'vendor_payments.csv'
WHERE amount_vnd >= 450000000 AND amount_vnd < 500000000
GROUP BY ALL
HAVING COUNT(*) >= 3
ORDER BY so_khoan_450_500 DESC;+------------+-----------+------------------+---------+------------+------------+
| created_by | vendor_id | so_khoan_450_500 | tong_ty | tu_ngay | den_ngay |
+------------+-----------+------------------+---------+------------+------------+
| E017 | V012 | 10 | 4.79 | 2025-07-29 | 2025-12-22 |
| E017 | V019 | 9 | 4.3 | 2025-08-12 | 2025-12-04 |
| E008 | V001 | 5 | 2.42 | 2025-01-31 | 2025-06-30 |
| E017 | V001 | 3 | 1.44 | 2025-01-23 | 2025-09-25 |
| E017 | V007 | 3 | 1.41 | 2025-03-05 | 2025-09-22 |
+------------+-----------+------------------+---------+------------+------------+
(5 dòng)E017 cũng xuất hiện ở luật chia nhỏ: 19 khoản 450–500 triệu cho V012 và V019 trong nửa cuối năm. Đáng chú ý dòng E008/V001 cũng có 5 khoản sát ngưỡng: V001 là nhà cung cấp lớn nhất nên có nhiều khoản tự nhiên rơi vào khoảng này. Luật luôn sinh cảnh báo giả; người điều tra cần bối cảnh để phân biệt.
🟡 Luật Benford: tổng thể và quanh ngưỡng
-- Luật Benford cho chữ số đầu tiên của số tiền thanh toán
SELECT CAST(left(CAST(amount_vnd AS VARCHAR), 1) AS INTEGER) AS chu_so,
COUNT(*) AS so_luong,
ROUND(100 * COUNT(*) / SUM(COUNT(*)) OVER (), 1) AS thuc_te_pct,
ROUND(100 * log10(1 + 1 / chu_so), 1) AS benford_pct
FROM 'vendor_payments.csv'
GROUP BY 1
ORDER BY 1;+--------+----------+-------------+-------------+
| chu_so | so_luong | thuc_te_pct | benford_pct |
+--------+----------+-------------+-------------+
| 1 | 694 | 29.5 | 30.1 |
| 2 | 412 | 17.5 | 17.6 |
| 3 | 318 | 13.5 | 12.5 |
| 4 | 245 | 10.4 | 9.7 |
| 5 | 185 | 7.9 | 7.9 |
| 6 | 152 | 6.5 | 6.7 |
| 7 | 126 | 5.3 | 5.8 |
| 8 | 114 | 4.8 | 5.1 |
| 9 | 110 | 4.7 | 4.6 |
+--------+----------+-------------+-------------+
(9 dòng)Nhưng soi quanh ngưỡng phê duyệt 500 triệu: khoảng 450–500 triệu có 75 khoản, còn 500–550 triệu chỉ có 50. Với phân phối số tiền trơn, hai khoảng liền kề này lẽ ra gần nhau. Bài học: Benford là công cụ khoanh vùng thô; gian lận nhỏ trong tập lớn bị pha loãng. Phân tích theo người tạo, theo NCC, quanh ngưỡng mới hiệu quả.
Số có giới hạn trên/ dưới hoặc được đặt bởi con người: giá niêm yết, lương, phí cố định, số tiền luôn dưới 1 triệu. Cần tập số trải rộng vài bậc độ lớn và đủ lớn (vài trăm trở lên).
🟡 Thống kê: robust z trên log số tiền
So mỗi khoản với lịch sử của chính nhà cung cấp đó. Dùng log vì số tiền lệch phải; dùng trung vị và MAD thay vì trung bình và độ lệch chuẩn để không bị chính các điểm bất thường kéo lệch.
🔴 Kết hợp điểm và chọn ngưỡng cảnh báo
Mỗi luật cộng điểm: trùng +3, tài khoản trùng nhân viên +3, sát ngưỡng +2, ngoài giờ/ cuối tuần +2, robust z > 3,5 +1. Đối chiếu với file đáp án:
| Ngưỡng điểm ≥ | Số cảnh báo | Bắt đúng | Precision | Recall (trên 56) |
|---|---|---|---|---|
| 1 | 121 | 56 | 46% | 100% |
| 2 | 109 | 56 | 51% | 100% |
| 3 | 25 | 25 | 100% | 45% |
| 4 | 17 | 17 | 100% | 30% |
| 5 | 16 | 16 | 100% | 29% |
| 6 | 1 | 1 | 100% | 2% |
Ngưỡng 2 bắt gần hết với khoảng 109 cảnh báo cả năm (vài cảnh báo mỗi tuần, đội nhỏ xử lý được). Ngưỡng 3 sạch hơn nhưng bỏ lọt hơn một nửa. Không có ngưỡng “đúng”: chọn theo năng lực xử lý và chi phí bỏ lọt. Ở quy mô lớn (hàng nghìn giao dịch/ngày), bài toán khác hẳn:
| Bước tiếp theo | Khi nào |
|---|---|
| Isolation Forest / mô hình học máy không giám sát | Nhiều chiều dữ liệu, luật không bao phủ hết |
| Đồ thị quan hệ (NCC – tài khoản – địa chỉ – SĐT – nhân viên) | Gian lận có tổ chức, dùng chung thuộc tính |
| Mô hình có giám sát | Khi đã tích luỹ đủ nhãn từ kết quả điều tra |
| Vòng phản hồi | Mỗi cảnh báo được điều tra phải ghi kết luận (đúng/ sai/ lý do) để cải thiện luật |
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Gian lận nhỏ bị pha loãng, kết luận “sạch”.
Cách làm đúng: Phân tích theo nhóm, quanh ngưỡng, theo người tạo.
Vì sao nguy hiểm: Buộc tội oan, rủi ro pháp lý và nhân sự.
Cách làm đúng: Cảnh báo là đầu vào cho điều tra có quy trình.
Vì sao nguy hiểm: Mệt mỏi cảnh báo, bỏ qua cả cảnh báo đúng.
Cách làm đúng: Chấm điểm, chọn ngưỡng theo năng lực.
Vì sao nguy hiểm: Không bao giờ đo được precision thật.
Cách làm đúng: Vòng phản hồi có nhãn.
Vì sao nguy hiểm: Phân phối lệch, độ lệch chuẩn bị phình.
Cách làm đúng: Log + trung vị/ MAD.
Vì sao nguy hiểm: Lộ thông tin, xoá dấu vết.
Cách làm đúng: Phân quyền chặt cho bảng cảnh báo (module 10).
- Gian lận để lại dấu vết: trùng, tài khoản trùng nhân viên, sát ngưỡng, ngoài giờ.
- Luật SQL đơn giản (self-join, join danh mục) bắt được phần lớn.
- Benford tổng thể khớp (MAD 4,0‰) nhưng quanh ngưỡng lộ bất thường (75 so với 50).
- Robust z trên log, so với lịch sử của chính NCC.
- Kết hợp điểm, chọn ngưỡng theo precision/recall và năng lực xử lý.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. Luật nào phát hiện nhà cung cấp ma tốt nhất?
A. Benford
B. Join tài khoản ngân hàng NCC với tài khoản nhân viên
C. Đếm số NCC
2. Ngưỡng phê duyệt 500 triệu. Dấu hiệu chia nhỏ:
A. Nhiều khoản 450–499 triệu cùng người tạo
B. Một khoản 2 tỷ có phê duyệt
C. Khoản 10 triệu
3. MAD Benford rất nhỏ nghĩa là:
A. Chắc chắn không có gian lận
B. Phân phối tổng thể khớp Benford; gian lận nhỏ vẫn có thể tồn tại
C. Dữ liệu sai
4. Tỷ lệ gian lận 0,1%, luật có tỷ lệ báo nhầm 2%. Precision sẽ:
A. Rất cao
B. Rất thấp
C. Bằng recall
5. Vì sao dùng trung vị/MAD thay cho trung bình/độ lệch chuẩn?
A. Nhanh hơn
B. Ít bị chính điểm bất thường kéo lệch
C. Không có lý do
🏋️ Bài tập thực hành
Cài 5 luật trong bài thành một truy vấn chấm điểm trên vendor_payments.csv, join vendor_payments_labels.csv để tính precision, recall theo từng ngưỡng. Thêm một luật mới của riêng bạn (ví dụ: NCC mới tạo < 60 ngày nhận khoản đầu > 200 triệu) và đo nó cải thiện được gì.
💡 Gợi ý lời giải
UNION ALL rồi GROUP BY payment_id lấy SUM(điểm). LEFT JOIN về toàn bộ thanh toán (điểm 0 cho dòng không dính luật) rồi join nhãn. Precision = SUM(label<>'normal')/COUNT(*) trong nhóm bị gắn cờ.📚 Tài nguyên học tập
- ACFE: Association of Certified Fraud ExaminersBáo cáo Report to the Nations, tài liệu phòng chống gian lậnBáo cáo
- Benford's law (Wikipedia)Nền tảng, giới hạn, ứng dụng kiểm toánTham khảo
- scikit-learn: Isolation ForestPhát hiện ngoại lai không giám sátTài liệu
✅ Tự đánh giá hoàn thành
- Chạy 3 luật SQL
- Chạy Benford và phân tích quanh ngưỡng
- Thử robust z bằng công cụ
- Đọc bảng precision/recall
- Làm bài tập tự chấm