Database Engineering for Backend & AI Engineers
Trang chủ / Module 11
📡 Module 11 / 14 · 1 tuần

Change Data Capture & Event-driven Data

Change Data Capture để đồng bộ dữ liệu real-time, Outbox Pattern giải quyết vấn đề dual-write, và vai trò Kafka trong kiến trúc event-driven.

CDCOutbox PatternKafka
📌 Vì sao module này quan trọng

Khi hệ thống lớn lên, một database duy nhất không còn phục vụ đủ mọi nhu cầu — cần đồng bộ dữ liệu sang search engine (Elasticsearch), cache, data warehouse (nối vào khoá Databricks), hoặc thông báo cho các service khác khi có thay đổi. Cách làm ngây thơ (ghi database rồi gọi tiếp API/message queue) chứa một lỗi tinh vi gọi là dual-write problem — Module này giải quyết đúng bài toán "đồng bộ dữ liệu đáng tin cậy giữa nhiều hệ thống" mà gần như mọi kiến trúc microservice đều phải đối mặt.

🎯 Mục tiêu học tập

  • Giải thích Change Data Capture (CDC) là gì và cách nó đọc trực tiếp từ transaction log của database
  • Nhận diện dual-write problem và giải quyết bằng Outbox Pattern
  • Hiểu vai trò cơ bản của Kafka như một event log bền vững cho kiến trúc event-driven
  • Thiết kế luồng đồng bộ dữ liệu real-time từ database chính sang 1 hệ thống downstream

Dual-write Problem — lỗi tinh vi khi ghi vào 2 hệ thống

Cách làm tưởng chừng hợp lý: ghi vào database, sau đó gọi thêm 1 bước để publish message/gọi API hệ thống khác. Vấn đề: đây là 2 thao tác độc lập, không có transaction bao trùm cả hai — nếu service crash ngay sau khi commit database nhưng trước khi publish message thành công, dữ liệu ở 2 hệ thống lệch nhau vĩnh viễn mà không có lỗi nào được ném ra để phát hiện.

# Dual-write problem — có khoảng hở giữa 2 dòng này
db.execute("INSERT INTO orders (...) VALUES (...)")  # (1) commit thành công
kafka_producer.send("order_created", order_data)     # (2) crash trước dòng này → mất event vĩnh viễn

Outbox Pattern — giải pháp đáng tin cậy

Thay vì ghi trực tiếp vào message queue, ghi sự kiện vào 1 bảng outbox ngay trong cùng transaction với thao tác nghiệp vụ chính — vì cùng 1 transaction, ACID (Module 4) đảm bảo cả hai cùng thành công hoặc cùng rollback, không còn khoảng hở. Một tiến trình riêng (relay/poller, hoặc CDC — phần tiếp theo) đọc bảng outbox và publish sang message queue thật, đánh dấu đã xử lý.

BEGIN;
INSERT INTO orders (...) VALUES (...);
INSERT INTO outbox (event_type, payload, created_at)
  VALUES ('order_created', '{"order_id": 123, ...}', NOW());
COMMIT;
-- Cả 2 INSERT cùng thành công hoặc cùng rollback — không còn khoảng hở dual-write

Change Data Capture (CDC) — tự động hoá việc đọc outbox

CDC (ví dụ Debezium) đọc trực tiếp transaction log (WAL của PostgreSQL, binlog của MySQL — chính là cơ chế đứng sau replication ở Module 6) để phát hiện mọi thay đổi dữ liệu theo thời gian thực, không cần poll bảng outbox bằng query định kỳ. CDC biến bất kỳ thay đổi nào trong database thành 1 stream sự kiện, thường đẩy thẳng vào Kafka — đây là cách hiện đại và đáng tin cậy nhất để đồng bộ dữ liệu real-time sang Elasticsearch, cache, hoặc data warehouse (liên kết trực tiếp với pipeline ingestion ở khoá Databricks) mà không cần sửa code ứng dụng chính để "publish thêm event" ở mọi nơi ghi dữ liệu.

Kafka — event log bền vững, không chỉ là message queue

Khác với message queue truyền thống (RabbitMQ — message bị xoá sau khi tiêu thụ), Kafka lưu event như 1 log bất biến, có thứ tự, được giữ lại trong khoảng thời gian cấu hình (từ vài ngày đến vĩnh viễn) — nhiều consumer độc lập có thể đọc lại cùng 1 stream sự kiện từ đầu hoặc từ bất kỳ điểm nào, không "tiêu thụ hết" như queue thông thường. Đây là lý do Kafka phù hợp làm "nguồn sự thật" (source of truth) cho event trong kiến trúc event-driven — nhiều service khác nhau (search indexing, analytics, notification) có thể subscribe cùng 1 topic order_created độc lập với nhau.

🏋️ Bài tập thực hành

Triển khai Outbox Pattern và CDC đơn giản

Xây dựng 1 bảng outbox và sửa logic tạo đơn hàng để ghi event vào outbox trong cùng transaction. Viết 1 tiến trình relay đơn giản (poll bảng outbox mỗi giây, publish sự kiện, đánh dấu đã xử lý). Sau đó thử nghiệm với Debezium (dùng Docker) để capture thay đổi trực tiếp từ WAL của PostgreSQL, so sánh độ phức tạp và độ trễ giữa cách polling thủ công và CDC thật.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Giải thích rõ dual-write problem bằng một kịch bản lỗi cụ thể
  • Triển khai được Outbox Pattern đảm bảo tính atomic giữa ghi dữ liệu và ghi event
  • Giải thích CDC đọc trực tiếp từ transaction log khác gì so với polling bảng outbox
  • Giải thích được vì sao Kafka phù hợp làm event log bền vững hơn message queue truyền thống