☁️ Module 13 / 17 · 3 tuần

Cloud & Deployment

AWS, Azure, GCP, Kubernetes, CI/CD — đưa hệ thống AI từ máy cá nhân lên production thật.

AWSAzureGCPKubernetes

📌 Vì sao module này quan trọng

Một hệ thống AI chỉ tạo ra giá trị khi người dùng thật dùng được nó, ổn định, có khả năng scale. Kỹ năng triển khai cloud là điểm nhiều dev "giỏi AI nhưng yếu backend" bị vướng nhất — đây chính là lợi thế của người xuất phát từ backend như bạn.

🎯 Mục tiêu học tập

Hiểu dịch vụ AI-managed tương ứng trên AWS (Bedrock), Azure (AI Foundry), GCP (Vertex AI)
Container hoá và triển khai AI service lên Kubernetes, hiểu các ràng buộc riêng (GPU scheduling, cold start)
Xây dựng pipeline CI/CD cho hệ thống AI bao gồm cả bước regression eval tự động

Ba nền tảng cloud lớn cho AI

Cloud	Dịch vụ AI chính	Điểm mạnh
AWS	Bedrock (model gateway đa nhà cung cấp), SageMaker	Hệ sinh thái backend rộng nhất, Bedrock cho phép gọi nhiều model (Claude, Llama, Titan...) qua một API thống nhất
Azure	Azure AI Foundry, Azure OpenAI Service	Lựa chọn mặc định cho doanh nghiệp đã dùng hệ sinh thái Microsoft, tích hợp compliance/enterprise mạnh
GCP	Vertex AI	Tích hợp chặt với Gemini, mạnh về data/ML pipeline (BigQuery, Vertex AI Pipelines)

Không cần thành thạo cả ba — chọn một để thực hành sâu (theo nhu cầu thị trường lao động khu vực bạn nhắm tới), hiểu khái niệm chung để chuyển đổi khi cần.

Kubernetes cho AI Workload

Khác biệt so với deploy web service thông thường: AI service có thể cần GPU scheduling (nếu tự host model open-weight), cold start lâu hơn (load model nặng), và autoscaling theo độ trễ hàng đợi thay vì chỉ CPU/memory (vì request AI có thời gian xử lý không đều). Với hệ thống chỉ gọi API model bên ngoài (không tự host model), Kubernetes vận hành gần như web service thông thường — tập trung vào horizontal pod autoscaling theo lưu lượng request và readiness probe kiểm tra được cả kết nối downstream (DB, vector DB, LLM API).

CI/CD cho hệ thống AI

Pipeline CI/CD chuẩn (test → build → deploy) cần thêm một bước đặc thù: chạy regression eval trên golden dataset (Module 11) như một cổng chặn trước khi deploy — coi điểm eval là một dạng "test" bắt buộc phải pass, y hệt unit test. Ngoài ra nên có chiến lược rollout dần (canary/blue-green) cho thay đổi model/prompt, vì hành vi model có thể lệch bất ngờ với traffic thật dù eval offline tốt.

🏋️ Bài tập thực hành

Triển khai RAG service lên Kubernetes

Đóng gói RAG service (Module 6+10) thành Docker image, viết Kubernetes manifest (Deployment, Service, HorizontalPodAutoscaler) triển khai lên cluster local (minikube/kind) hoặc 1 cloud provider free tier. Thêm bước CI (GitHub Actions) chạy golden dataset eval trước khi cho phép build image.

📚 Tài nguyên học tập

AWS Bedrock — DocumentationTài liệu chính thức AWS Bedrock
Docs
Azure AI Foundry — DocumentationTài liệu chính thức Azure AI Foundry
Docs
Google Cloud — Vertex AI DocsTài liệu chính thức Vertex AI
Docs
Kubernetes — DocumentationTài liệu chính thức Kubernetes
Docs

✅ Tự đánh giá hoàn thành

Triển khai được 1 AI service lên Kubernetes (local hoặc cloud) với autoscaling
Hiểu và so sánh được dịch vụ AI-managed của ít nhất 2 trong 3 cloud lớn
Xây được CI/CD pipeline có bước regression eval như một cổng chặn deploy

← Trước đó

Module 12: Data Engineering for AI

Module 14: Portfolio Projects