Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 2 · Chất lượng, pipeline & quản trị dữ liệu / Module 9
⚡ Module 9 / 18 · 2 tuần Nâng cao

Streaming: kiểm soát hạn mức và cảnh báo gần thời gian thực

Khi nào rủi ro cần xử lý theo luồng, các khái niệm Kafka (topic, partition, offset, consumer group), xây bộ kiểm tra hạn mức khi tạo đơn hàng, đếm thanh toán theo cửa sổ thời gian bằng Flink SQL, xử lý sự kiện đến muộn và đảm bảo không xử lý trùng.

KafkaWindowingEvent timeExactly-onceFlink SQL
📌 Vì sao module này quan trọng

Một số rủi ro không chờ được đến sáng mai: đại lý đã vượt hạn mức vẫn đặt thêm đơn 2 tỷ lúc 15:00; một tài khoản nhận liên tiếp 8 khoản thanh toán trong 10 phút. Batch hằng đêm phát hiện ra thì hàng đã giao, tiền đã đi. Nhưng streaming cũng đắt và phức tạp, nên biết khi nào cần và khi nào không quan trọng ngang biết cách làm.

🎯 Mục tiêu học tập

  • Phân loại nhu cầu theo độ trễ: real-time, gần real-time, batch
  • Hiểu topic, partition, offset, consumer group
  • Viết consumer kiểm tra hạn mức có commit thủ công
  • Dùng cửa sổ thời gian, event time, watermark
  • Thiết kế xử lý không trùng lặp (exactly-once hiệu quả)

🟢 Có thật sự cần thời gian thực?

Nhu cầu ở An PhátĐộ trễ chấp nhậnCách làm
Chặn đơn hàng khi đại lý vượt hạn mức< 1 giây (trong luồng tạo đơn)Kiểm tra đồng bộ trong ERP + trạng thái hạn mức cập nhật theo luồng
Cảnh báo thanh toán NCC bất thườngVài phút (trước khi ngân hàng xử lý lệnh)Streaming: Kafka + bộ xử lý luồng
Cảnh báo đại lý trễ hạn tăngTrong ngàyMicro-batch mỗi giờ hoặc batch hằng ngày
Bảng tuổi nợ, KRI, dự phòngHằng ngàyBatch (module 8)
VaR tỷ giáCuối ngàyBatch
Quy tắc ngón tay cái

Nếu hành động sau cảnh báo do con người làm trong giờ hành chính, độ trễ vài phút đến một giờ là đủ. Real-time thật sự chỉ cần khi hệ thống phải tự chặn giao dịch.

🟢 Kafka trong 5 phút

ProducerERP phát sự kiện order_created
Topicorders (6 partition, khoá = dealer_id)
Consumer groupcredit-check: mỗi partition một consumer
Topic kết quảcredit-alerts
Khái niệmÝ nghĩaHệ quả thiết kế
TopicKênh sự kiện có tênMột topic cho một loại sự kiện
PartitionMảnh của topic, có thứ tự bên trongChọn khoá = dealer_id để mọi đơn của một đại lý đi cùng partition, giữ đúng thứ tự
OffsetVị trí của sự kiện trong partitionConsumer commit offset sau khi xử lý xong để không mất/ không trùng
Consumer groupNhóm consumer chia nhau partitionMuốn chạy song song nhiều hơn phải có nhiều partition hơn
RetentionGiữ sự kiện bao lâuĐủ dài để xử lý lại khi có lỗi (VD 7 ngày)

🟡 Ví dụ: cập nhật dư nợ và cảnh báo vượt hạn mức

import json
from confluent_kafka import Consumer, Producer

consumer = Consumer({
    "bootstrap.servers": "kafka:9092",
    "group.id": "credit-check",
    "auto.offset.reset": "earliest",
    "enable.auto.commit": False,          # commit thủ công SAU khi xử lý xong
})
producer = Producer({"bootstrap.servers": "kafka:9092", "enable.idempotence": True})
consumer.subscribe(["orders", "payments"])

exposure = load_exposure_snapshot()        # dict dealer_id -> dư nợ hiện tại (từ Gold, lúc khởi động)
limits = load_current_limits()             # dict dealer_id -> hạn mức (dim_dealer is_current)
seen = load_processed_ids()                # chống xử lý trùng (lưu bền: Redis/ bảng DB)

while True:
    msg = consumer.poll(1.0)
    if msg is None:
        continue
    if msg.error():
        log_error(msg.error()); continue
    ev = json.loads(msg.value())
    if ev["event_id"] in seen:             # sự kiện gửi lại do retry → bỏ qua
        consumer.commit(message=msg); continue

    d = ev["dealer_id"]
    if msg.topic() == "orders":
        exposure[d] = exposure.get(d, 0) + ev["amount_vnd"]
    else:                                  # payments
        exposure[d] = exposure.get(d, 0) - ev["amount_vnd"]

    util = exposure[d] / (limits.get(d, 1) * 1e6)
    if msg.topic() == "orders" and util > 1.0:
        alert = {"dealer_id": d, "utilization": round(util, 3), "order_id": ev["order_id"],
                 "event_time": ev["event_time"], "rule": "OVER_LIMIT"}
        producer.produce("credit-alerts", key=d, value=json.dumps(alert))
        producer.flush()

    save_processed_id(ev["event_id"])      # ghi bền trước khi commit offset
    consumer.commit(message=msg)
  • Khoá sự kiện là dealer_id → mọi sự kiện của một đại lý vào cùng partition và được xử lý theo thứ tự.
  • Trạng thái dư nợ trong bộ nhớ phải được đối chiếu định kỳ với bảng Gold (batch là nguồn sự thật), vì streaming có thể lệch do sự kiện thiếu.
  • Hệ thống thật nên dùng bộ xử lý luồng có quản lý trạng thái (Kafka Streams, Flink) thay vì dict trong RAM.

🟡 Cửa sổ thời gian, event time và sự kiện đến muộn

Loại cửa sổHình dungVí dụ
Tumbling (lật)Khối 10 phút nối tiếp, không chồngSố thanh toán mỗi NCC mỗi 10 phút
Hopping/ sliding (trượt)Khối 10 phút, trượt mỗi 1 phútTổng tiền 1 giờ gần nhất, cập nhật mỗi phút
Session (phiên)Nhóm sự kiện cách nhau < khoảng nghỉMột phiên nhập liệu của nhân viên
-- Flink SQL: bảng nguồn từ Kafka với event time và watermark
CREATE TABLE payments (
  payment_id  STRING,
  vendor_id   STRING,
  amount_vnd  BIGINT,
  created_by  STRING,
  event_time  TIMESTAMP(3),
  WATERMARK FOR event_time AS event_time - INTERVAL '5' MINUTE   -- chấp nhận sự kiện trễ tối đa 5 phút
) WITH (
  'connector' = 'kafka',
  'topic' = 'payments',
  'properties.bootstrap.servers' = 'kafka:9092',
  'format' = 'json',
  'scan.startup.mode' = 'latest-offset'
);

-- Cảnh báo: một NCC nhận >= 5 khoản trong cửa sổ 10 phút
SELECT window_start, window_end, vendor_id, COUNT(*) AS so_khoan, SUM(amount_vnd) AS tong
FROM TABLE(TUMBLE(TABLE payments, DESCRIPTOR(event_time), INTERVAL '10' MINUTES))
GROUP BY window_start, window_end, vendor_id
HAVING COUNT(*) >= 5;
Event time vs processing time

Event time là lúc sự việc xảy ra (lệnh chi được tạo); processing time là lúc hệ thống nhận. Mất mạng 3 phút làm sự kiện đến muộn: nếu đếm theo processing time, cửa sổ sai. Watermark nói với hệ thống “có thể đóng cửa sổ đến T vì sự kiện trễ hơn 5 phút coi như đến muộn”. Sự kiện đến sau watermark cần chính sách riêng: bỏ, ghi ra luồng phụ, hoặc cập nhật kết quả.

🟡 Xử lý không trùng: at-most, at-least, exactly-once

Ngữ nghĩaCách đạtRủi ro
At-most-onceCommit offset trước khi xử lýMất sự kiện khi lỗi (bỏ sót cảnh báo)
At-least-onceXử lý rồi mới commitTrùng khi lỗi giữa xử lý và commit
Exactly-once (hiệu quả)At-least-once + đích luỹ đẳng (khoá event_id, upsert) hoặc giao dịch KafkaPhức tạp hơn, cần thiết kế đích

Thực tế, đa số hệ thống chọn at-least-once + đích luỹ đẳng: mỗi sự kiện có event_id duy nhất; đích ghi bằng upsert theo khoá này, nên nhận hai lần vẫn chỉ có một kết quả. Đây cũng là tư duy luỹ đẳng của module 4, áp vào luồng.

🔴 Kiến trúc và chi phí

Kappa: mọi thứ là luồng
  • Một đường xử lý duy nhất
  • Xử lý lại = phát lại topic từ đầu
  • Hợp khi gần như mọi nhu cầu là real-time
Lai (batch + luồng) — phổ biến nhất
  • Batch là nguồn sự thật cho báo cáo, kế toán
  • Luồng chỉ cho vài cảnh báo cần nhanh
  • Đối chiếu định kỳ luồng với batch
Chi phí của streamingGhi chú
Hạ tầng chạy 24/7Kafka cluster, bộ xử lý luồng, giám sát; hoặc dịch vụ quản lý
Vận hànhTheo dõi consumer lag, rebalancing, nâng cấp không gián đoạn
Độ phức tạp logicTrạng thái, sự kiện muộn, thứ tự, xử lý lại
Kiểm thửKhó tái lập lỗi hơn batch nhiều
Bắt đầu nhẹ

Nhiều nhu cầu “gần thời gian thực” giải được bằng micro-batch mỗi 5–15 phút trên CDC (module 4) với cùng SQL như batch. Chỉ chuyển sang streaming thật khi đo được giá trị của mỗi phút sớm hơn.

⚠️ Sai lầm thường mắc

❌ Streaming mọi thứ

Vì sao nguy hiểm: Chi phí, độ phức tạp lớn cho nhu cầu batch là đủ.

Cách làm đúng: Phân loại nhu cầu theo độ trễ, chỉ stream cái cần.

❌ Khoá partition ngẫu nhiên

Vì sao nguy hiểm: Sự kiện cùng đại lý xử lý sai thứ tự → dư nợ sai.

Cách làm đúng: Khoá = thực thể cần giữ thứ tự (dealer_id).

❌ Auto-commit offset

Vì sao nguy hiểm: Mất sự kiện khi consumer chết giữa chừng.

Cách làm đúng: Commit thủ công sau khi xử lý và ghi bền.

❌ Đếm theo processing time

Vì sao nguy hiểm: Mạng chậm làm cửa sổ sai, cảnh báo giả/ bỏ sót.

Cách làm đúng: Event time + watermark.

❌ Không có event_id

Vì sao nguy hiểm: Không chống trùng được khi retry.

Cách làm đúng: Mỗi sự kiện có ID duy nhất; đích luỹ đẳng.

❌ Không đối chiếu với batch

Vì sao nguy hiểm: Trạng thái luồng lệch dần.

Cách làm đúng: Đối chiếu định kỳ với bảng Gold.

📌 Cần nhớ
  • Real-time khi hệ thống phải tự chặn; người xử lý thì vài phút–giờ là đủ.
  • Kafka: topic, partition (giữ thứ tự theo khoá), offset, consumer group.
  • Commit offset sau khi xử lý; đích luỹ đẳng theo event_id.
  • Event time + watermark cho sự kiện đến muộn.
  • Kiến trúc lai: batch là nguồn sự thật, luồng cho cảnh báo nhanh.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Muốn mọi đơn hàng của một đại lý được xử lý theo đúng thứ tự, khoá partition nên là:
A. order_id
B. dealer_id
C. Ngẫu nhiên
Đáp án: B. Cùng khoá → cùng partition → giữ thứ tự.
2. Commit offset TRƯỚC khi xử lý cho ngữ nghĩa:
A. At-most-once
B. At-least-once
C. Exactly-once
Đáp án: A. Lỗi sau commit sẽ mất sự kiện.
3. Watermark 5 phút nghĩa là:
A. Xoá dữ liệu sau 5 phút
B. Chấp nhận sự kiện đến trễ tối đa 5 phút trước khi đóng cửa sổ
C. Chạy mỗi 5 phút
Đáp án: B. Ước lượng tiến độ event time.
4. Nhu cầu nào phù hợp batch hằng ngày nhất?
A. Chặn đơn vượt hạn mức
B. Bảng tuổi nợ và dự phòng
C. Cảnh báo lệnh chi bất thường trước khi ngân hàng xử lý
Đáp án: B. Báo cáo hằng ngày không cần luồng.
5. Cách phổ biến để đạt exactly-once hiệu quả:
A. Tắt retry
B. At-least-once + ghi đích luỹ đẳng theo event_id
C. Auto-commit
Đáp án: B. Nhận trùng nhưng ghi một lần.

🏋️ Bài tập thực hành

Giả lập luồng thanh toán và cửa sổ 10 phút bằng Python

Đọc vendor_payments.csv, tạo event_time = payment_date + hour + phút ngẫu nhiên, sắp theo thời gian rồi “phát” từng sự kiện (vòng lặp). Viết bộ xử lý giữ cửa sổ tumbling 10 phút theo NCC, cảnh báo khi ≥ 3 khoản; thêm 5% sự kiện đến trễ 1–8 phút và xử lý theo watermark 5 phút.

💡 Gợi ý lời giải
Khoá cửa sổ = (vendor_id, floor(event_time / 10 phút)). Giữ max_event_time đã thấy; watermark = max_event_time − 5 phút; đóng và phát kết quả các cửa sổ có window_end ≤ watermark. Sự kiện có event_time < watermark → ghi vào danh sách “đến muộn”. Không cần Kafka để hiểu cơ chế.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Phân loại nhu cầu theo độ trễ
  • Giải thích topic/partition/offset
  • Đọc hiểu consumer kiểm tra hạn mức
  • Hiểu event time, watermark
  • Làm bài tập cửa sổ 10 phút
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.