Change Data Capture & Event-driven Data
Change Data Capture để đồng bộ dữ liệu real-time, Outbox Pattern giải quyết vấn đề dual-write, và vai trò Kafka trong kiến trúc event-driven.
Khi hệ thống lớn lên, một database duy nhất không còn phục vụ đủ mọi nhu cầu — cần đồng bộ dữ liệu sang search engine (Elasticsearch), cache, data warehouse (nối vào khoá Databricks), hoặc thông báo cho các service khác khi có thay đổi. Cách làm ngây thơ (ghi database rồi gọi tiếp API/message queue) chứa một lỗi tinh vi gọi là dual-write problem — Module này giải quyết đúng bài toán "đồng bộ dữ liệu đáng tin cậy giữa nhiều hệ thống" mà gần như mọi kiến trúc microservice đều phải đối mặt.
🎯 Mục tiêu học tập
- Giải thích Change Data Capture (CDC) là gì và cách nó đọc trực tiếp từ transaction log của database
- Nhận diện dual-write problem và giải quyết bằng Outbox Pattern
- Hiểu vai trò cơ bản của Kafka như một event log bền vững cho kiến trúc event-driven
- Thiết kế luồng đồng bộ dữ liệu real-time từ database chính sang 1 hệ thống downstream
Dual-write Problem — lỗi tinh vi khi ghi vào 2 hệ thống
Cách làm tưởng chừng hợp lý: ghi vào database, sau đó gọi thêm 1 bước để publish message/gọi API hệ thống khác. Vấn đề: đây là 2 thao tác độc lập, không có transaction bao trùm cả hai — nếu service crash ngay sau khi commit database nhưng trước khi publish message thành công, dữ liệu ở 2 hệ thống lệch nhau vĩnh viễn mà không có lỗi nào được ném ra để phát hiện.
# Dual-write problem — có khoảng hở giữa 2 dòng này
db.execute("INSERT INTO orders (...) VALUES (...)") # (1) commit thành công
kafka_producer.send("order_created", order_data) # (2) crash trước dòng này → mất event vĩnh viễn
Outbox Pattern — giải pháp đáng tin cậy
Thay vì ghi trực tiếp vào message queue, ghi sự kiện vào 1 bảng outbox ngay trong cùng
transaction với thao tác nghiệp vụ chính — vì cùng 1 transaction, ACID (Module 4) đảm bảo cả hai cùng
thành công hoặc cùng rollback, không còn khoảng hở. Một tiến trình riêng (relay/poller, hoặc CDC — phần
tiếp theo) đọc bảng outbox và publish sang message queue thật, đánh dấu đã xử lý.
BEGIN;
INSERT INTO orders (...) VALUES (...);
INSERT INTO outbox (event_type, payload, created_at)
VALUES ('order_created', '{"order_id": 123, ...}', NOW());
COMMIT;
-- Cả 2 INSERT cùng thành công hoặc cùng rollback — không còn khoảng hở dual-write
Change Data Capture (CDC) — tự động hoá việc đọc outbox
CDC (ví dụ Debezium) đọc trực tiếp transaction log (WAL của PostgreSQL, binlog của MySQL — chính là cơ chế đứng sau replication ở Module 6) để phát hiện mọi thay đổi dữ liệu theo thời gian thực, không cần poll bảng outbox bằng query định kỳ. CDC biến bất kỳ thay đổi nào trong database thành 1 stream sự kiện, thường đẩy thẳng vào Kafka — đây là cách hiện đại và đáng tin cậy nhất để đồng bộ dữ liệu real-time sang Elasticsearch, cache, hoặc data warehouse (liên kết trực tiếp với pipeline ingestion ở khoá Databricks) mà không cần sửa code ứng dụng chính để "publish thêm event" ở mọi nơi ghi dữ liệu.
Kafka — event log bền vững, không chỉ là message queue
Khác với message queue truyền thống (RabbitMQ — message bị xoá sau khi tiêu thụ), Kafka lưu event như
1 log bất biến, có thứ tự, được giữ lại trong khoảng thời gian cấu hình (từ vài ngày đến
vĩnh viễn) — nhiều consumer độc lập có thể đọc lại cùng 1 stream sự kiện từ đầu hoặc từ bất kỳ điểm nào,
không "tiêu thụ hết" như queue thông thường. Đây là lý do Kafka phù hợp làm "nguồn sự thật" (source of
truth) cho event trong kiến trúc event-driven — nhiều service khác nhau (search indexing, analytics,
notification) có thể subscribe cùng 1 topic order_created độc lập với nhau.
🏋️ Bài tập thực hành
Xây dựng 1 bảng outbox và sửa logic tạo đơn hàng để ghi event vào outbox trong cùng transaction. Viết 1 tiến trình relay đơn giản (poll bảng outbox mỗi giây, publish sự kiện, đánh dấu đã xử lý). Sau đó thử nghiệm với Debezium (dùng Docker) để capture thay đổi trực tiếp từ WAL của PostgreSQL, so sánh độ phức tạp và độ trễ giữa cách polling thủ công và CDC thật.
📚 Tài nguyên học tập
-
Debezium — DocumentationNền tảng CDC mã nguồn mở phổ biến nhất, hỗ trợ PostgreSQL/MySQL/MongoDBDocs
-
Microservices.io — Transactional Outbox PatternGiải thích chính thức pattern Outbox và vấn đề dual-writeBài viết
-
Apache Kafka — DocumentationTài liệu chính thức KafkaDocs
✅ Tự đánh giá hoàn thành
- Giải thích rõ dual-write problem bằng một kịch bản lỗi cụ thể
- Triển khai được Outbox Pattern đảm bảo tính atomic giữa ghi dữ liệu và ghi event
- Giải thích CDC đọc trực tiếp từ transaction log khác gì so với polling bảng outbox
- Giải thích được vì sao Kafka phù hợp làm event log bền vững hơn message queue truyền thống