Streaming: kiểm soát hạn mức và cảnh báo gần thời gian thực
Khi nào rủi ro cần xử lý theo luồng, các khái niệm Kafka (topic, partition, offset, consumer group), xây bộ kiểm tra hạn mức khi tạo đơn hàng, đếm thanh toán theo cửa sổ thời gian bằng Flink SQL, xử lý sự kiện đến muộn và đảm bảo không xử lý trùng.
Một số rủi ro không chờ được đến sáng mai: đại lý đã vượt hạn mức vẫn đặt thêm đơn 2 tỷ lúc 15:00; một tài khoản nhận liên tiếp 8 khoản thanh toán trong 10 phút. Batch hằng đêm phát hiện ra thì hàng đã giao, tiền đã đi. Nhưng streaming cũng đắt và phức tạp, nên biết khi nào cần và khi nào không quan trọng ngang biết cách làm.
🎯 Mục tiêu học tập
- Phân loại nhu cầu theo độ trễ: real-time, gần real-time, batch
- Hiểu topic, partition, offset, consumer group
- Viết consumer kiểm tra hạn mức có commit thủ công
- Dùng cửa sổ thời gian, event time, watermark
- Thiết kế xử lý không trùng lặp (exactly-once hiệu quả)
🟢 Có thật sự cần thời gian thực?
| Nhu cầu ở An Phát | Độ trễ chấp nhận | Cách làm |
|---|---|---|
| Chặn đơn hàng khi đại lý vượt hạn mức | < 1 giây (trong luồng tạo đơn) | Kiểm tra đồng bộ trong ERP + trạng thái hạn mức cập nhật theo luồng |
| Cảnh báo thanh toán NCC bất thường | Vài phút (trước khi ngân hàng xử lý lệnh) | Streaming: Kafka + bộ xử lý luồng |
| Cảnh báo đại lý trễ hạn tăng | Trong ngày | Micro-batch mỗi giờ hoặc batch hằng ngày |
| Bảng tuổi nợ, KRI, dự phòng | Hằng ngày | Batch (module 8) |
| VaR tỷ giá | Cuối ngày | Batch |
Nếu hành động sau cảnh báo do con người làm trong giờ hành chính, độ trễ vài phút đến một giờ là đủ. Real-time thật sự chỉ cần khi hệ thống phải tự chặn giao dịch.
🟢 Kafka trong 5 phút
| Khái niệm | Ý nghĩa | Hệ quả thiết kế |
|---|---|---|
| Topic | Kênh sự kiện có tên | Một topic cho một loại sự kiện |
| Partition | Mảnh của topic, có thứ tự bên trong | Chọn khoá = dealer_id để mọi đơn của một đại lý đi cùng partition, giữ đúng thứ tự |
| Offset | Vị trí của sự kiện trong partition | Consumer commit offset sau khi xử lý xong để không mất/ không trùng |
| Consumer group | Nhóm consumer chia nhau partition | Muốn chạy song song nhiều hơn phải có nhiều partition hơn |
| Retention | Giữ sự kiện bao lâu | Đủ dài để xử lý lại khi có lỗi (VD 7 ngày) |
🟡 Ví dụ: cập nhật dư nợ và cảnh báo vượt hạn mức
import json
from confluent_kafka import Consumer, Producer
consumer = Consumer({
"bootstrap.servers": "kafka:9092",
"group.id": "credit-check",
"auto.offset.reset": "earliest",
"enable.auto.commit": False, # commit thủ công SAU khi xử lý xong
})
producer = Producer({"bootstrap.servers": "kafka:9092", "enable.idempotence": True})
consumer.subscribe(["orders", "payments"])
exposure = load_exposure_snapshot() # dict dealer_id -> dư nợ hiện tại (từ Gold, lúc khởi động)
limits = load_current_limits() # dict dealer_id -> hạn mức (dim_dealer is_current)
seen = load_processed_ids() # chống xử lý trùng (lưu bền: Redis/ bảng DB)
while True:
msg = consumer.poll(1.0)
if msg is None:
continue
if msg.error():
log_error(msg.error()); continue
ev = json.loads(msg.value())
if ev["event_id"] in seen: # sự kiện gửi lại do retry → bỏ qua
consumer.commit(message=msg); continue
d = ev["dealer_id"]
if msg.topic() == "orders":
exposure[d] = exposure.get(d, 0) + ev["amount_vnd"]
else: # payments
exposure[d] = exposure.get(d, 0) - ev["amount_vnd"]
util = exposure[d] / (limits.get(d, 1) * 1e6)
if msg.topic() == "orders" and util > 1.0:
alert = {"dealer_id": d, "utilization": round(util, 3), "order_id": ev["order_id"],
"event_time": ev["event_time"], "rule": "OVER_LIMIT"}
producer.produce("credit-alerts", key=d, value=json.dumps(alert))
producer.flush()
save_processed_id(ev["event_id"]) # ghi bền trước khi commit offset
consumer.commit(message=msg)- Khoá sự kiện là
dealer_id→ mọi sự kiện của một đại lý vào cùng partition và được xử lý theo thứ tự. - Trạng thái dư nợ trong bộ nhớ phải được đối chiếu định kỳ với bảng Gold (batch là nguồn sự thật), vì streaming có thể lệch do sự kiện thiếu.
- Hệ thống thật nên dùng bộ xử lý luồng có quản lý trạng thái (Kafka Streams, Flink) thay vì dict trong RAM.
🟡 Cửa sổ thời gian, event time và sự kiện đến muộn
| Loại cửa sổ | Hình dung | Ví dụ |
|---|---|---|
| Tumbling (lật) | Khối 10 phút nối tiếp, không chồng | Số thanh toán mỗi NCC mỗi 10 phút |
| Hopping/ sliding (trượt) | Khối 10 phút, trượt mỗi 1 phút | Tổng tiền 1 giờ gần nhất, cập nhật mỗi phút |
| Session (phiên) | Nhóm sự kiện cách nhau < khoảng nghỉ | Một phiên nhập liệu của nhân viên |
-- Flink SQL: bảng nguồn từ Kafka với event time và watermark
CREATE TABLE payments (
payment_id STRING,
vendor_id STRING,
amount_vnd BIGINT,
created_by STRING,
event_time TIMESTAMP(3),
WATERMARK FOR event_time AS event_time - INTERVAL '5' MINUTE -- chấp nhận sự kiện trễ tối đa 5 phút
) WITH (
'connector' = 'kafka',
'topic' = 'payments',
'properties.bootstrap.servers' = 'kafka:9092',
'format' = 'json',
'scan.startup.mode' = 'latest-offset'
);
-- Cảnh báo: một NCC nhận >= 5 khoản trong cửa sổ 10 phút
SELECT window_start, window_end, vendor_id, COUNT(*) AS so_khoan, SUM(amount_vnd) AS tong
FROM TABLE(TUMBLE(TABLE payments, DESCRIPTOR(event_time), INTERVAL '10' MINUTES))
GROUP BY window_start, window_end, vendor_id
HAVING COUNT(*) >= 5;Event time là lúc sự việc xảy ra (lệnh chi được tạo); processing time là lúc hệ thống nhận. Mất mạng 3 phút làm sự kiện đến muộn: nếu đếm theo processing time, cửa sổ sai. Watermark nói với hệ thống “có thể đóng cửa sổ đến T vì sự kiện trễ hơn 5 phút coi như đến muộn”. Sự kiện đến sau watermark cần chính sách riêng: bỏ, ghi ra luồng phụ, hoặc cập nhật kết quả.
🟡 Xử lý không trùng: at-most, at-least, exactly-once
| Ngữ nghĩa | Cách đạt | Rủi ro |
|---|---|---|
| At-most-once | Commit offset trước khi xử lý | Mất sự kiện khi lỗi (bỏ sót cảnh báo) |
| At-least-once | Xử lý rồi mới commit | Trùng khi lỗi giữa xử lý và commit |
| Exactly-once (hiệu quả) | At-least-once + đích luỹ đẳng (khoá event_id, upsert) hoặc giao dịch Kafka | Phức tạp hơn, cần thiết kế đích |
Thực tế, đa số hệ thống chọn at-least-once + đích luỹ đẳng: mỗi sự kiện có event_id duy nhất; đích ghi bằng upsert theo khoá này, nên nhận hai lần vẫn chỉ có một kết quả. Đây cũng là tư duy luỹ đẳng của module 4, áp vào luồng.
🔴 Kiến trúc và chi phí
- Một đường xử lý duy nhất
- Xử lý lại = phát lại topic từ đầu
- Hợp khi gần như mọi nhu cầu là real-time
- Batch là nguồn sự thật cho báo cáo, kế toán
- Luồng chỉ cho vài cảnh báo cần nhanh
- Đối chiếu định kỳ luồng với batch
| Chi phí của streaming | Ghi chú |
|---|---|
| Hạ tầng chạy 24/7 | Kafka cluster, bộ xử lý luồng, giám sát; hoặc dịch vụ quản lý |
| Vận hành | Theo dõi consumer lag, rebalancing, nâng cấp không gián đoạn |
| Độ phức tạp logic | Trạng thái, sự kiện muộn, thứ tự, xử lý lại |
| Kiểm thử | Khó tái lập lỗi hơn batch nhiều |
Nhiều nhu cầu “gần thời gian thực” giải được bằng micro-batch mỗi 5–15 phút trên CDC (module 4) với cùng SQL như batch. Chỉ chuyển sang streaming thật khi đo được giá trị của mỗi phút sớm hơn.
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Chi phí, độ phức tạp lớn cho nhu cầu batch là đủ.
Cách làm đúng: Phân loại nhu cầu theo độ trễ, chỉ stream cái cần.
Vì sao nguy hiểm: Sự kiện cùng đại lý xử lý sai thứ tự → dư nợ sai.
Cách làm đúng: Khoá = thực thể cần giữ thứ tự (dealer_id).
Vì sao nguy hiểm: Mất sự kiện khi consumer chết giữa chừng.
Cách làm đúng: Commit thủ công sau khi xử lý và ghi bền.
Vì sao nguy hiểm: Mạng chậm làm cửa sổ sai, cảnh báo giả/ bỏ sót.
Cách làm đúng: Event time + watermark.
Vì sao nguy hiểm: Không chống trùng được khi retry.
Cách làm đúng: Mỗi sự kiện có ID duy nhất; đích luỹ đẳng.
Vì sao nguy hiểm: Trạng thái luồng lệch dần.
Cách làm đúng: Đối chiếu định kỳ với bảng Gold.
- Real-time khi hệ thống phải tự chặn; người xử lý thì vài phút–giờ là đủ.
- Kafka: topic, partition (giữ thứ tự theo khoá), offset, consumer group.
- Commit offset sau khi xử lý; đích luỹ đẳng theo event_id.
- Event time + watermark cho sự kiện đến muộn.
- Kiến trúc lai: batch là nguồn sự thật, luồng cho cảnh báo nhanh.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. Muốn mọi đơn hàng của một đại lý được xử lý theo đúng thứ tự, khoá partition nên là:
A. order_id
B. dealer_id
C. Ngẫu nhiên
2. Commit offset TRƯỚC khi xử lý cho ngữ nghĩa:
A. At-most-once
B. At-least-once
C. Exactly-once
3. Watermark 5 phút nghĩa là:
A. Xoá dữ liệu sau 5 phút
B. Chấp nhận sự kiện đến trễ tối đa 5 phút trước khi đóng cửa sổ
C. Chạy mỗi 5 phút
4. Nhu cầu nào phù hợp batch hằng ngày nhất?
A. Chặn đơn vượt hạn mức
B. Bảng tuổi nợ và dự phòng
C. Cảnh báo lệnh chi bất thường trước khi ngân hàng xử lý
5. Cách phổ biến để đạt exactly-once hiệu quả:
A. Tắt retry
B. At-least-once + ghi đích luỹ đẳng theo event_id
C. Auto-commit
🏋️ Bài tập thực hành
Đọc vendor_payments.csv, tạo event_time = payment_date + hour + phút ngẫu nhiên, sắp theo thời gian rồi “phát” từng sự kiện (vòng lặp). Viết bộ xử lý giữ cửa sổ tumbling 10 phút theo NCC, cảnh báo khi ≥ 3 khoản; thêm 5% sự kiện đến trễ 1–8 phút và xử lý theo watermark 5 phút.
💡 Gợi ý lời giải
📚 Tài nguyên học tập
- Apache Kafka DocumentationTopic, partition, consumer group, delivery semanticsTài liệu
- Apache Flink: Windowing TVFTUMBLE, HOP, CUMULATE trong Flink SQLTài liệu
- Spark Structured Streaming GuideStreaming với Spark, watermarkTài liệu
✅ Tự đánh giá hoàn thành
- Phân loại nhu cầu theo độ trễ
- Giải thích topic/partition/offset
- Đọc hiểu consumer kiểm tra hạn mức
- Hiểu event time, watermark
- Làm bài tập cửa sổ 10 phút