Backend API Engineering for AI Engineers
Trang chủ / Module 10
📊 Module 10 / 14 · 1-2 tuần

Kafka cho Backend Engineer

Topic/partition/consumer group của Kafka, sự khác biệt cốt lõi với RabbitMQ, và khi nào chọn Kafka cho kiến trúc event-driven.

KafkaEvent StreamingConsumer Group
📌 Vì sao module này quan trọng

RabbitMQ (Module 9) tối ưu cho task queue — phân phối công việc tới worker và xoá message sau khi xử lý. Kafka giải quyết một bài toán khác: event streaming ở quy mô lớn, nơi nhiều hệ thống độc lập cần đọc lại cùng 1 luồng sự kiện lịch sử. Nhầm lẫn 2 công cụ này — dùng Kafka như 1 task queue thông thường, hoặc dùng RabbitMQ khi cần replay toàn bộ lịch sử sự kiện — dẫn đến kiến trúc phức tạp không cần thiết hoặc thiếu khả năng cần có.

🎯 Mục tiêu học tập

  • Giải thích mô hình Topic - Partition - Offset của Kafka và vì sao nó cho phép scale ngang
  • Hiểu cách Consumer Group phân chia việc đọc partition giữa nhiều consumer
  • So sánh rõ ràng Kafka và RabbitMQ, chọn đúng công cụ theo bài toán
  • Thiết kế partition key hợp lý để đảm bảo thứ tự xử lý khi cần thiết

Topic, Partition, Offset — nền tảng khả năng scale của Kafka

1 Topic (ví dụ order-events) được chia thành nhiều Partition — mỗi partition là 1 log tuần tự, bất biến, được đánh số thứ tự bằng Offset. Việc chia partition cho phép nhiều consumer đọc song song các phần khác nhau của cùng 1 topic, và cho phép Kafka trải dữ liệu ra nhiều máy chủ (broker) khác nhau — đây chính là cơ chế Kafka đạt thông lượng cực cao.

Thứ tự chỉ được đảm bảo trong phạm vi 1 partition, không đảm bảo giữa các partition khác nhau của cùng topic — đây là điểm hiểu sai phổ biến nhất khi mới dùng Kafka.

Partition Key — quyết định thứ tự xử lý

producer.send('order-events', key=order.customer_id, value=order_event)
# Mọi event có CÙNG key (cùng customer_id) luôn vào CÙNG 1 partition
# -> đảm bảo thứ tự xử lý cho các event của CÙNG 1 khách hàng
# (không đảm bảo thứ tự giữa các khách hàng khác nhau — thường không cần thiết)

Chọn partition key giống hệt nguyên tắc chọn shard key đã học ở khoá Database Engineering (Module 7): cần phân bố đều (tránh 1 partition nhận quá nhiều event trong khi các partition khác rảnh — "hot partition") và khớp với đơn vị cần đảm bảo thứ tự (thường là 1 entity nghiệp vụ cụ thể như customer_id hoặc order_id).

Consumer Group — phân chia việc đọc partition tự động

Nhiều consumer cùng thuộc 1 Consumer Group tự động chia nhau các partition của topic — mỗi partition chỉ được đọc bởi đúng 1 consumer trong group tại 1 thời điểm (đảm bảo không xử lý trùng trong cùng group), nhưng các consumer group khác nhau đọc độc lập, không ảnh hưởng nhau — đây là điểm khác biệt lớn với RabbitMQ, nơi message bị xoá sau khi 1 consumer xử lý xong.

# Consumer Group "email-service": đọc order-events để gửi email
# Consumer Group "inventory-service": đọc CÙNG topic order-events để cập nhật tồn kho
# Cả 2 group đọc độc lập toàn bộ event, không group nào "giành mất" event của group kia

Khi thêm consumer mới vào 1 group (scale ra để xử lý nhanh hơn), Kafka tự động phân phối lại (rebalance) partition giữa các consumer — nhưng số consumer hiệu quả tối đa trong 1 group bị giới hạn bởi số partition (nhiều hơn số partition, consumer thừa sẽ ngồi không).

Kafka vs RabbitMQ — chọn đúng công cụ

Tiêu chíRabbitMQKafka
Mô hìnhTask queue — message bị xoá sau khi consumer xử lý xongEvent log bền vững — nhiều consumer group đọc lại độc lập, có thể replay lịch sử
Routing linh hoạtMạnh (direct/topic/fanout, header exchange)Đơn giản hơn — chủ yếu dựa trên topic và partition key
Thông lượngTốt cho quy mô vừaCực cao, thiết kế cho streaming khối lượng lớn
Phù hợp nhất choTask queue, RPC bất đồng bộ, độ trễ thấp cho tác vụ đơn lẻEvent sourcing, CDC (khoá Database Engineering Module 11), data pipeline, nhiều hệ thống cần cùng 1 nguồn sự thật

Nguyên tắc thực dụng: nếu bài toán là "phân phối công việc cho worker xử lý" → RabbitMQ thường đơn giản và đủ dùng. Nếu bài toán là "phát sự kiện cho nhiều hệ thống độc lập, cần lưu lại lịch sử, có thể có thêm consumer mới trong tương lai đọc lại dữ liệu cũ" → Kafka là lựa chọn đúng.

🏋️ Bài tập thực hành

Xây event stream order-events với 2 consumer group độc lập

Dựng Kafka bằng Docker Compose, tạo topic order-events với 3 partition. Viết producer publish event dùng customer_id làm partition key, chứng minh mọi event của cùng 1 customer luôn vào cùng 1 partition (log offset tăng dần đúng thứ tự). Xây 2 consumer group độc lập (email-service, analytics-service) cùng đọc topic này, chứng minh cả 2 đều nhận được toàn bộ event độc lập với nhau. Thử scale consumer trong 1 group lên nhiều hơn số partition và quan sát hiện tượng consumer thừa không nhận được partition nào.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Giải thích được vì sao thứ tự chỉ đảm bảo trong phạm vi 1 partition, không phải toàn topic
  • Chọn được partition key hợp lý đảm bảo đúng thứ tự cần thiết mà không tạo hot partition
  • Giải thích cách nhiều consumer group đọc độc lập cùng 1 topic mà không ảnh hưởng nhau
  • Đưa ra quyết định Kafka hay RabbitMQ có căn cứ cho ít nhất 2 bài toán khác nhau