Dự án Capstone — Xây một Agent Production-ready
Ghép toàn bộ khoá học thành một hệ agent hoàn chỉnh: thiết kế, tool, context, đánh giá, bảo mật, vận hành — kèm tài liệu đủ để trình bày khi phỏng vấn.
Mười lăm module trước là các mảnh riêng lẻ. Giá trị nghề nghiệp nằm ở khả năng ghép chúng thành một hệ thống chạy được và — quan trọng không kém — giải thích được vì sao bạn thiết kế như vậy. Nhà tuyển dụng đã thấy hàng trăm demo "agent" làm bằng một framework trong một buổi chiều. Thứ hiếm là một dự án có bộ eval, có mô hình mối đe doạ, có số liệu chi phí, và có phần "những gì tôi đã thử mà không hiệu quả". Capstone này được thiết kế để tạo ra đúng thứ đó.
🎯 Mục tiêu học tập
- Thiết kế và xây một hệ agent end-to-end giải quyết một bài toán thật
- Chứng minh chất lượng bằng bộ eval, không phải bằng demo chọn lọc
- Áp dụng đầy đủ các lớp: tool, context, bộ nhớ, guardrail, quan sát, triển khai
- Viết tài liệu thiết kế và bài trình bày thể hiện tư duy đánh đổi
Chọn đề tài
Chọn một trong ba hướng, hoặc đề tài riêng đáp ứng cùng yêu cầu. Ưu tiên bài toán bạn thật sự gặp trong công việc — dữ liệu thật và người dùng thật làm dự án thuyết phục hơn hẳn.
| Hướng | Mô tả | Trọng tâm kỹ thuật |
|---|---|---|
| A. Agent vận hành nghiệp vụ | Agent hỗ trợ khách hàng / vận hành nội bộ: tra cứu, xử lý yêu cầu theo chính sách, thực hiện hành động có duyệt, chuyển cho người khi cần | Thiết kế tool, chính sách và quyền, human-in-the-loop, eval theo trạng thái, độ nhất quán pass^k |
| B. Hệ nghiên cứu chuyên sâu | Deep research trên web và/hoặc kho tài liệu nội bộ, sinh báo cáo có trích dẫn kiểm chứng được | Agentic RAG, multi-agent, quản lý context, đánh giá độ phủ và độ chính xác trích dẫn |
| C. Agent kỹ thuật tự động | Agent chạy trong CI: review PR, điều tra test chập chờn, hoặc tự sửa một lớp lỗi và mở PR | Sandbox, vòng kiểm chứng, chạy không giao diện, quyền tối thiểu, eval bằng test |
Trước khi bắt đầu, viết decision memo (Module 1): vì sao bài toán này cần agent, mức tự chủ nào, và tiêu chí thành công đo được là gì.
Yêu cầu bắt buộc
| Hạng mục | Yêu cầu tối thiểu | Module |
|---|---|---|
| Thiết kế | Decision memo; sơ đồ kiến trúc; lý do chọn mức tự chủ và công cụ | 1, 5, 11 |
| Tool | 4-8 tool tự thiết kế theo việc cần làm, mô tả đầy đủ, lỗi có hướng dẫn; ít nhất một tool qua MCP | 3, 9 |
| Context | System prompt đúng độ cao; prompt caching hoạt động (có số liệu); chiến lược cho phiên dài | 4 |
| Kiểm chứng | Agent có tín hiệu khách quan để biết mình xong và đúng | 6 |
| Trạng thái | Checkpoint và tiếp tục được; bộ nhớ dài hạn nếu bài toán cần | 7 |
| Đánh giá | ≥ 30 task, grader bằng code và bằng model đã hiệu chỉnh, ≥ 3 trial/task; regression suite trong CI | 13 |
| An toàn | Bảng mối đe doạ; hệ thống quyền; cổng duyệt cho hành động không hoàn tác; suite kiểm thử injection | 14 |
| Vận hành | Chạy bất đồng bộ; trace theo chuẩn mở; ngân sách cứng; đóng gói bằng Docker | 12, 15 |
Tuỳ chọn nâng cao (chọn 1-2): multi-agent có số liệu chứng minh lợi ích so với agent đơn; durable execution; so sánh hai model hoặc hai mức effort trên bộ eval; giao diện duyệt cho người; triển khai lên cloud với autoscaling.
Lộ trình 6 tuần
| Tuần | Việc | Sản phẩm |
|---|---|---|
| 1 | Chọn đề tài; làm thủ công 10 ca để hiểu bài toán; viết decision memo; viết 15 task eval đầu tiên trước khi viết agent | Memo + bộ eval sơ khởi |
| 2 | Dựng môi trường (database/fixture/sandbox); thiết kế tool; agent bản đầu bằng vòng lặp đơn giản; chạy đường cơ sở | Agent chạy được + số liệu cơ sở |
| 3 | Lặp cải tiến dựa trên transcript: sửa tool, prompt, context; mở rộng eval lên 30+ task; hiệu chỉnh grader | Tỉ lệ đạt tăng có bằng chứng |
| 4 | An toàn: bảng mối đe doạ, quyền, cổng duyệt, suite injection. Checkpoint và bộ nhớ | Báo cáo red team trước/sau |
| 5 | Production hoá: dịch vụ bất đồng bộ, trace, ngân sách, Docker; tối ưu chi phí; CI với regression suite | Dịch vụ triển khai được + dashboard |
| 6 | Hạng mục nâng cao; viết tài liệu; quay demo; chuẩn bị bài trình bày | Repo hoàn chỉnh |
Viết task eval ở tuần 1 buộc bạn định nghĩa "thành công" khi chưa bị thiên vị bởi những gì agent của mình tình cờ làm được. Đây là thói quen phân biệt người xây agent nghiêm túc.
Tiêu chí tự chấm
| Tiêu chí | Đạt | Xuất sắc |
|---|---|---|
| Giải quyết bài toán | Hoàn thành phần lớn task trong bộ eval | Tỉ lệ đạt cao và pass^k cao; xử lý tốt ca "không nên hành động" |
| Thiết kế tool và context | Tool rõ ràng, cache hoạt động | Có số liệu trước/sau của các lần tái thiết kế tool; context gọn ở phiên dài |
| Đánh giá | Bộ eval chạy được, có báo cáo | Grader hiệu chỉnh với người; phân tích lỗi theo loại; eval dẫn dắt các quyết định |
| An toàn | Có quyền và cổng duyệt | Chặn bằng lớp tất định; tỉ lệ tấn công thành công đo được và gần 0; giải thích được đánh đổi với tính hữu dụng |
| Vận hành | Chạy trong Docker, có trace | Sống sót qua kiểm thử hỗn loạn; có chi phí cho mỗi tác vụ hoàn thành; có sổ tay sự cố |
| Tư duy kỹ sư | Tài liệu mô tả hệ thống | Nêu rõ các phương án đã cân nhắc, thứ đã thử mà thất bại, và giới hạn hiện tại |
Tài liệu và trình bày
Repo nên có:
- README: bài toán, demo ngắn (GIF/video 2 phút), cách chạy bằng một lệnh, kết quả eval chính ngay ở đầu.
- DESIGN.md: decision memo, sơ đồ kiến trúc, và mỗi quyết định lớn theo mẫu "phương án cân nhắc → lựa chọn → lý do → đánh đổi".
- EVALS.md: cách xây bộ eval, bảng kết quả qua các phiên bản, phân tích lỗi, và ít nhất hai ví dụ transcript có chú giải (một thành công, một thất bại).
- SECURITY.md: bảng mối đe doạ, các lớp phòng thủ, kết quả kiểm thử đối kháng, rủi ro còn lại.
- Mục "Bài học": ba điều bạn đã thử mà không hiệu quả, và điều bạn sẽ làm khác đi.
Khi trình bày (phỏng vấn, demo nội bộ), chuẩn bị trả lời:
- Vì sao đây là bài toán cho agent mà không phải workflow? Bạn đã thử phương án đơn giản hơn chưa?
- Làm sao bạn biết nó hoạt động? Cho tôi xem một ca nó thất bại.
- Điều tệ nhất agent này có thể làm là gì, và điều gì ngăn nó?
- Một run tốn bao nhiêu? Nếu lưu lượng gấp 100 lần thì thứ gì gãy trước?
- Nếu có model mạnh hơn ra mắt ngày mai, bạn sẽ bỏ bớt phần nào của hệ thống?
Khoá Career Positioning hướng dẫn cách biến capstone thành portfolio và câu chuyện phỏng vấn; khoá Freelance & Indie Hacker hướng dẫn cách đóng gói nó thành dịch vụ hoặc sản phẩm.
Học tiếp sau khoá này
- Theo dõi nguồn gốc: blog kỹ thuật của các phòng thí nghiệm model và các đội xây agent lớn; đặc tả MCP/A2A; các bài báo benchmark. Lĩnh vực đổi nhanh — ưu tiên nguồn sơ cấp hơn bài tổng hợp.
- Chạy lại bộ eval của bạn với mỗi model mới: đây là cách nhanh nhất để biết thay đổi nào thật sự quan trọng với bài toán của bạn, và thứ giàn giáo nào đã gỡ được.
- Đọc transcript thường xuyên — của agent bạn xây và của các agent bạn dùng hằng ngày. Trực giác về agent đến từ việc xem chúng làm việc, không đến từ việc đọc về chúng.
- Đào sâu theo hướng: Fine-tuning & Model Customization nếu cần model nhỏ chuyên biệt cho subagent; System Architecture cho hệ quy mô lớn; Advanced QA cho tư duy kiểm thử áp dụng vào eval.
🏋️ Bài tập thực hành
Hoàn thành dự án theo yêu cầu bắt buộc ở trên. Trước khi coi là xong, tự kiểm tra bằng ba phép thử: (1) một người lạ clone repo và chạy được demo cùng bộ eval chỉ bằng README; (2) bạn trả lời được năm câu hỏi trình bày ở trên, mỗi câu kèm một con số hoặc một transcript làm bằng chứng; (3) bạn chỉ ra được ba giới hạn hiện tại của hệ thống và cách bạn sẽ xử lý nếu có thêm một tháng.
📚 Tài nguyên học tập
-
Anthropic — Building Effective AgentsĐọc lại sau khi làm xong: bạn sẽ thấy mỗi câu trong đó nặng hơn nhiềuBài viết
-
Anthropic CookbookVí dụ cài đặt tham khảo cho nhiều kỹ thuật trong khoáCode
-
12-Factor AgentsDanh sách kiểm tra nguyên tắc kỹ thuật cho agent productionRepo
-
Hamel Husain & Shreya Shankar — LLM Evals FAQCâu hỏi thường gặp khi xây eval cho sản phẩm AI thậtBài viết
✅ Tự đánh giá hoàn thành
- Có decision memo và bộ eval sơ khởi trước khi viết agent
- Đáp ứng đủ tám hạng mục yêu cầu bắt buộc
- Có số liệu trước/sau cho ít nhất ba cải tiến
- Repo có README, DESIGN, EVALS, SECURITY và mục bài học
- Trả lời được năm câu hỏi trình bày bằng số liệu hoặc transcript