Backend API Engineering for AI Engineers
Trang chủ / Module 8
🚪 Module 8 / 14 · 1 tuần

API Gateway & Rate Limiting

Trách nhiệm của API Gateway, pattern Backend-for-Frontend (BFF), và các thuật toán rate limiting phổ biến.

API GatewayBFFRate Limiting
📌 Vì sao module này quan trọng

Khi số lượng service tăng lên (Module 11), để mỗi client tự gọi trực tiếp từng service là một cơn ác mộng vận hành: mỗi service phải tự lo authentication, rate limiting, logging riêng, và client phải biết địa chỉ của mọi service. API Gateway tập trung hoá các mối quan tâm cross-cutting này vào 1 điểm duy nhất — đây là thành phần gần như bắt buộc trong bất kỳ kiến trúc microservices thực tế nào.

🎯 Mục tiêu học tập

  • Liệt kê đúng các trách nhiệm nên đặt ở API Gateway và trách nhiệm nên để lại cho từng service
  • Áp dụng pattern Backend-for-Frontend khi nhiều loại client cần dữ liệu tổng hợp khác nhau
  • Cài đặt rate limiting bằng thuật toán token bucket hoặc sliding window
  • Thiết kế response hợp lý khi client vượt rate limit (headers, retry-after)

API Gateway — điểm tập trung cho các mối quan tâm cross-cutting

API Gateway đứng giữa client và toàn bộ backend service, đảm nhận:

  • Routing: chuyển tiếp request tới đúng service dựa trên path/host
  • Authentication: xác thực token 1 lần tại gateway, các service phía sau tin tưởng header đã được gateway xác thực (giảm việc mỗi service tự verify JWT)
  • Rate limiting: áp dụng giới hạn tập trung, nhất quán trên toàn hệ thống
  • Logging & Observability: 1 điểm quan sát toàn bộ traffic vào hệ thống
  • SSL termination: xử lý TLS 1 lần tại gateway, giao tiếp nội bộ giữa các service có thể dùng mTLS riêng (liên hệ khoá Database Engineering Module 12 và khoá DevOps)

Nguyên tắc: gateway xử lý mối quan tâm chung cho mọi service; logic nghiệp vụ cụ thể luôn ở lại trong từng service — gateway phình to thành "god object" chứa logic nghiệp vụ là dấu hiệu thiết kế sai.

Backend-for-Frontend (BFF) — mỗi loại client 1 tầng tổng hợp riêng

Khi web app, mobile app, và đối tác thứ 3 cần hình dạng dữ liệu khác nhau đáng kể từ cùng 1 tập microservice phía sau, 1 API Gateway chung cho tất cả dễ trở thành điểm phải thoả hiệp (quá nhiều field tuỳ chọn, logic rẽ nhánh theo loại client). BFF pattern tạo 1 tầng tổng hợp riêng cho mỗi loại client — mobile-bff gọi và ghép dữ liệu từ nhiều service tối ưu riêng cho màn hình mobile (ít field, gộp nhiều lời gọi thành 1), web-bff làm tương tự cho nhu cầu riêng của web.

Đánh đổi: thêm 1 tầng cần vận hành/deploy riêng cho mỗi loại client — chỉ nên áp dụng khi sự khác biệt giữa nhu cầu các client đủ lớn để việc tách riêng có lợi hơn 1 gateway chung.

Rate Limiting — 2 thuật toán phổ biến nhất

Thuật toánCách hoạt độngĐặc điểm
Token BucketMỗi client có 1 "giỏ" token, làm đầy dần theo thời gian với tốc độ cố định; mỗi request tiêu 1 token, hết token thì bị từ chốiCho phép burst traffic ngắn hạn (dùng token tích luỹ), phổ biến nhất trong thực tế
Sliding Window LogLưu timestamp từng request trong 1 cửa sổ thời gian trượt (đã dùng ở khoá Database Engineering Module 9 với Redis Sorted Set), đếm số request trong cửa sổChính xác hơn fixed window, không cho phép burst 2x ở ranh giới cửa sổ

Rate limiting nên áp dụng theo nhiều tầng: theo IP (chống spam/DDoS cơ bản), theo API key/user (đảm bảo công bằng giữa các khách hàng), và có thể theo độ phức tạp của request (đặc biệt quan trọng với GraphQL — Module 4 — nơi 1 request có thể chứa query phức tạp gấp nhiều lần request khác).

Response chuẩn khi vượt rate limit

HTTP/1.1 429 Too Many Requests
X-RateLimit-Limit: 100
X-RateLimit-Remaining: 0
X-RateLimit-Reset: 1706400060
Retry-After: 42

{
  "type": "https://api.example.com/errors/rate-limit-exceeded",
  "title": "Vượt quá giới hạn request",
  "status": 429,
  "detail": "Đã dùng hết 100 request/phút. Vui lòng thử lại sau 42 giây."
}

Luôn trả về header X-RateLimit-* cho mọi request (không chỉ khi vượt giới hạn) để client chủ động biết mình còn bao nhiêu "hạn ngạch" và tự điều chỉnh tốc độ gọi API, giảm số lần thực sự bị chặn.

🏋️ Bài tập thực hành

Dựng API Gateway với rate limiting và BFF đơn giản

Dùng 1 API Gateway nhẹ (ví dụ Kong, hoặc tự viết bằng middleware Express/FastAPI) đặt trước 2 service giả định (order-service, customer-service). Cấu hình gateway xác thực JWT tập trung và route đúng request tới từng service. Triển khai rate limiting bằng token bucket, giới hạn 10 request/10 giây/API key, trả đúng header X-RateLimit-* và status 429 khi vượt giới hạn. Thiết kế (không cần code đầy đủ) 1 BFF endpoint tổng hợp dữ liệu order + customer cho màn hình "chi tiết đơn hàng" trên mobile, tối ưu số field trả về.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Liệt kê đúng trách nhiệm nên đặt ở gateway và trách nhiệm nên để lại từng service
  • Giải thích khi nào BFF pattern đáng để đánh đổi thêm 1 tầng vận hành
  • Triển khai rate limiting bằng token bucket hoạt động đúng dưới tải thật
  • Trả đúng response chuẩn (headers, status 429, Retry-After) khi vượt rate limit