🎤 Module 15 / 17 · 2-3 tuần

Interview Preparation

System Design, RAG Architecture, Agent Architecture, Scaling AI Systems, Cost Estimation.

Phỏng vấnSystem Design

📌 Vì sao module này quan trọng

Phỏng vấn AI Engineer 2026 hiếm khi hỏi "LLM là gì" — họ đưa ra một bài toán kinh doanh thật và yêu cầu bạn thiết kế hệ thống, y hệt system design interview cho Backend Engineer nhưng có thêm lớp AI. Chuẩn bị đúng cách nghĩa là luyện trình bày kiến trúc và đánh đổi, không phải học thuộc định nghĩa.

🎯 Mục tiêu học tập

Trình bày được kiến trúc RAG/Agent hoàn chỉnh trên bảng trắng trong 20-30 phút
Trả lời tự tin các câu hỏi về scaling, cost estimation, và đánh đổi thiết kế
Chuẩn bị được 2-3 câu chuyện dự án (từ Module 14) kể theo cấu trúc STAR có số liệu cụ thể

Khung trả lời System Design cho AI

Làm rõ yêu cầu: quy mô người dùng, độ trễ chấp nhận được, ngân sách, dữ liệu nhạy cảm hay không, yêu cầu độ chính xác (sai một chút có chấp nhận được không, hay bắt buộc chính xác tuyệt đối như lĩnh vực y tế/tài chính)
Thiết kế data pipeline: nguồn dữ liệu, chunking/embedding strategy, tần suất cập nhật
Thiết kế retrieval/agent flow: hybrid search? rerank? cần agent nhiều bước hay pipeline cố định là đủ?
Model selection: model nào cho từng bước, model routing để tối ưu chi phí
Production concerns: caching, rate limiting, monitoring, security
Đánh giá & lặp lại: golden dataset, metric nào, quy trình cải thiện liên tục

Người phỏng vấn quan tâm quá trình tư duy và đánh đổi nhiều hơn "đáp án đúng duy nhất" — luôn nói rõ vì sao chọn phương án này thay vì phương án khác.

Câu hỏi RAG Architecture thường gặp

"Làm sao đảm bảo RAG không trả lời sai khi câu hỏi ngoài phạm vi dữ liệu?" → nói về việc yêu cầu model từ chối khi retrieval không đủ liên quan (similarity threshold), và bộ câu hỏi golden dataset kiểm tra riêng trường hợp này
"Xử lý tài liệu cập nhật/xoá thế nào để index không bị lỗi thời?" → nói về pipeline đồng bộ định kỳ, versioning chunk, xoá vector khi tài liệu gốc bị xoá
"Làm sao scale RAG lên hàng triệu tài liệu?" → nói về indexing strategy (Module 7), sharding theo namespace/tenant, và cache layer

Câu hỏi Agent Architecture thường gặp

"Làm sao tránh agent lặp vô hạn hoặc tốn chi phí bất thường?" → giới hạn bước cứng, circuit breaker ngân sách, timeout mỗi bước
"Agent cần quyết định sai lầm nghiêm trọng (xoá dữ liệu) — xử lý thế nào?" → human-in-the-loop, least privilege tool design
"Khi nào dùng multi-agent thay vì 1 agent với nhiều tool?" → khi các vai trò cần context/tool riêng biệt đủ lớn để gây nhiễu lẫn nhau, hoặc cần chạy song song thật sự

Cost Estimation — luyện tính nhẩm

Chuẩn bị sẵn cách ước lượng nhanh: (số request/ngày) × (token trung bình mỗi request) × (giá/1K hoặc 1M token của model dự kiến) = chi phí ước tính/ngày. Biết nhân thêm hệ số cho retry, hệ số cho các bước trung gian trong agent (mỗi bước cũng tốn token), và luôn đề cập đòn bẩy giảm chi phí (model routing, caching, batch) khi trình bày con số — thể hiện tư duy vận hành thực tế chứ không chỉ lý thuyết.

🏋️ Bài tập thực hành

Luyện tập trình bày kiến trúc

Chọn 1 trong 5 dự án portfolio (Module 14), luyện trình bày trong 20 phút: vấn đề, kiến trúc, đánh đổi, số liệu, và trả lời 3 câu hỏi follow-up giả định ("nếu traffic tăng 100 lần thì sao", "nếu chi phí phải giảm 50% thì cắt gì trước", "lỗi phổ biến nhất gặp phải là gì và đã sửa thế nào"). Ghi âm lại và tự nghe lại để cải thiện cách trình bày.

📚 Tài nguyên học tập

Anthropic — Building Effective AgentsNguồn tham khảo tư duy kiến trúc agent khi trả lời phỏng vấn
Bài viết
latent.space — Podcast & bài viết ngànhCập nhật xu hướng, case study thực tế để trả lời phỏng vấn sâu sắc hơn
Blog

✅ Tự đánh giá hoàn thành

Trình bày trôi chảy được khung 6 bước system design cho bài toán AI bất kỳ
Chuẩn bị được câu trả lời có số liệu cho câu hỏi cost estimation
Kể được ít nhất 2 câu chuyện dự án theo cấu trúc STAR kèm số liệu cụ thể

← Trước đó

Module 14: Portfolio Projects

Module 16: Những thứ không nên đầu tư quá nhiều thời gian