API Gateway & Rate Limiting
Trách nhiệm của API Gateway, pattern Backend-for-Frontend (BFF), và các thuật toán rate limiting phổ biến.
Khi số lượng service tăng lên (Module 11), để mỗi client tự gọi trực tiếp từng service là một cơn ác mộng vận hành: mỗi service phải tự lo authentication, rate limiting, logging riêng, và client phải biết địa chỉ của mọi service. API Gateway tập trung hoá các mối quan tâm cross-cutting này vào 1 điểm duy nhất — đây là thành phần gần như bắt buộc trong bất kỳ kiến trúc microservices thực tế nào.
🎯 Mục tiêu học tập
- Liệt kê đúng các trách nhiệm nên đặt ở API Gateway và trách nhiệm nên để lại cho từng service
- Áp dụng pattern Backend-for-Frontend khi nhiều loại client cần dữ liệu tổng hợp khác nhau
- Cài đặt rate limiting bằng thuật toán token bucket hoặc sliding window
- Thiết kế response hợp lý khi client vượt rate limit (headers, retry-after)
API Gateway — điểm tập trung cho các mối quan tâm cross-cutting
API Gateway đứng giữa client và toàn bộ backend service, đảm nhận:
- Routing: chuyển tiếp request tới đúng service dựa trên path/host
- Authentication: xác thực token 1 lần tại gateway, các service phía sau tin tưởng header đã được gateway xác thực (giảm việc mỗi service tự verify JWT)
- Rate limiting: áp dụng giới hạn tập trung, nhất quán trên toàn hệ thống
- Logging & Observability: 1 điểm quan sát toàn bộ traffic vào hệ thống
- SSL termination: xử lý TLS 1 lần tại gateway, giao tiếp nội bộ giữa các service có thể dùng mTLS riêng (liên hệ khoá Database Engineering Module 12 và khoá DevOps)
Nguyên tắc: gateway xử lý mối quan tâm chung cho mọi service; logic nghiệp vụ cụ thể luôn ở lại trong từng service — gateway phình to thành "god object" chứa logic nghiệp vụ là dấu hiệu thiết kế sai.
Backend-for-Frontend (BFF) — mỗi loại client 1 tầng tổng hợp riêng
Khi web app, mobile app, và đối tác thứ 3 cần hình dạng dữ liệu khác nhau đáng kể từ cùng 1 tập
microservice phía sau, 1 API Gateway chung cho tất cả dễ trở thành điểm phải thoả hiệp (quá nhiều field
tuỳ chọn, logic rẽ nhánh theo loại client). BFF pattern tạo 1 tầng tổng hợp riêng cho mỗi
loại client — mobile-bff gọi và ghép dữ liệu từ nhiều service tối ưu riêng cho màn hình mobile
(ít field, gộp nhiều lời gọi thành 1), web-bff làm tương tự cho nhu cầu riêng của web.
Đánh đổi: thêm 1 tầng cần vận hành/deploy riêng cho mỗi loại client — chỉ nên áp dụng khi sự khác biệt giữa nhu cầu các client đủ lớn để việc tách riêng có lợi hơn 1 gateway chung.
Rate Limiting — 2 thuật toán phổ biến nhất
| Thuật toán | Cách hoạt động | Đặc điểm |
|---|---|---|
| Token Bucket | Mỗi client có 1 "giỏ" token, làm đầy dần theo thời gian với tốc độ cố định; mỗi request tiêu 1 token, hết token thì bị từ chối | Cho phép burst traffic ngắn hạn (dùng token tích luỹ), phổ biến nhất trong thực tế |
| Sliding Window Log | Lưu timestamp từng request trong 1 cửa sổ thời gian trượt (đã dùng ở khoá Database Engineering Module 9 với Redis Sorted Set), đếm số request trong cửa sổ | Chính xác hơn fixed window, không cho phép burst 2x ở ranh giới cửa sổ |
Rate limiting nên áp dụng theo nhiều tầng: theo IP (chống spam/DDoS cơ bản), theo API key/user (đảm bảo công bằng giữa các khách hàng), và có thể theo độ phức tạp của request (đặc biệt quan trọng với GraphQL — Module 4 — nơi 1 request có thể chứa query phức tạp gấp nhiều lần request khác).
Response chuẩn khi vượt rate limit
HTTP/1.1 429 Too Many Requests
X-RateLimit-Limit: 100
X-RateLimit-Remaining: 0
X-RateLimit-Reset: 1706400060
Retry-After: 42
{
"type": "https://api.example.com/errors/rate-limit-exceeded",
"title": "Vượt quá giới hạn request",
"status": 429,
"detail": "Đã dùng hết 100 request/phút. Vui lòng thử lại sau 42 giây."
}
Luôn trả về header X-RateLimit-* cho mọi request (không chỉ khi vượt giới hạn) để
client chủ động biết mình còn bao nhiêu "hạn ngạch" và tự điều chỉnh tốc độ gọi API, giảm số lần thực sự
bị chặn.
🏋️ Bài tập thực hành
Dùng 1 API Gateway nhẹ (ví dụ Kong, hoặc tự viết bằng middleware Express/FastAPI) đặt trước 2 service giả định (order-service, customer-service). Cấu hình gateway xác thực JWT tập trung và route đúng request tới từng service. Triển khai rate limiting bằng token bucket, giới hạn 10 request/10 giây/API key, trả đúng header X-RateLimit-* và status 429 khi vượt giới hạn. Thiết kế (không cần code đầy đủ) 1 BFF endpoint tổng hợp dữ liệu order + customer cho màn hình "chi tiết đơn hàng" trên mobile, tối ưu số field trả về.
📚 Tài nguyên học tập
-
Kong Gateway — DocumentationAPI Gateway mã nguồn mở phổ biếnDocs
-
Stripe — Rate LimitersBài viết kỹ thuật thực tế về thiết kế rate limiter ở quy mô lớnBài viết
-
Sam Newman — Backends For FrontendsBài viết gốc giới thiệu pattern BFFBài viết
✅ Tự đánh giá hoàn thành
- Liệt kê đúng trách nhiệm nên đặt ở gateway và trách nhiệm nên để lại từng service
- Giải thích khi nào BFF pattern đáng để đánh đổi thêm 1 tầng vận hành
- Triển khai rate limiting bằng token bucket hoạt động đúng dưới tải thật
- Trả đúng response chuẩn (headers, status 429, Retry-After) khi vượt rate limit