Evaluation cho Agent — Đo lường thứ không tất định
Vì sao đánh giá agent khó hơn đánh giá LLM, từ vựng chuẩn (task, trial, grader, transcript), ba loại grader, các chỉ số, và quy trình xây bộ eval từ 20 nhiệm vụ đầu tiên.
Không có eval, mọi thay đổi với agent là đánh bạc: bạn sửa prompt để chữa một lỗi, và không biết đã làm hỏng năm chỗ khác. Đội không có eval rơi vào vòng lặp phản ứng — chờ người dùng phàn nàn, sửa, chờ tiếp. Đội có eval biết ngay một model mới có tốt hơn cho mình không, một thay đổi tool có đáng không, và dám gỡ bớt giàn giáo. Khoá AI Engineer (Module 11) đã giới thiệu eval cho LLM/RAG; agent thêm ba cái khó: nhiều bước, nhiều đường đi đúng, và có thay đổi trạng thái thế giới.
🎯 Mục tiêu học tập
- Dùng đúng từ vựng: task, trial, grader, transcript/trajectory, outcome, suite
- Chọn và kết hợp ba loại grader: bằng code, bằng model, bằng người
- Thiết kế nhiệm vụ eval tốt: rõ ràng, có lời giải tham chiếu, chấm kết quả thay vì đường đi
- Đo và diễn giải các chỉ số: tỉ lệ thành công, pass@k và pass^k, chi phí, số bước
- Xây và duy trì bộ eval: từ 20-50 nhiệm vụ đầu tiên đến tích hợp CI và theo dõi production
Vì sao khó, và từ vựng
| Khó khăn | Hệ quả cho cách đánh giá |
|---|---|
| Không tất định | Một lần chạy không nói lên gì; cần nhiều lần thử cho mỗi nhiệm vụ |
| Nhiều đường đi đúng | Không so được với "chuỗi bước chuẩn"; phải chấm kết quả |
| Lỗi cộng dồn | Sai ở bước 3 làm hỏng 20 bước sau; cần đọc transcript để tìm gốc |
| Thay đổi trạng thái | Phải kiểm tra thế giới sau khi chạy (database, file), không chỉ lời agent nói |
| Đắt và chậm | Mỗi lần chạy tốn tiền và phút; bộ eval phải gọn, chạy song song |
| Thuật ngữ | Nghĩa |
|---|---|
| Task | Một bài kiểm tra: đầu vào + môi trường ban đầu + tiêu chí thành công |
| Trial | Một lần chạy một task. Mỗi task chạy nhiều trial |
| Transcript / trajectory | Bản ghi đầy đủ của một trial: mọi lời gọi model, tool, kết quả |
| Outcome | Trạng thái cuối của môi trường (đơn đã được hoàn tiền chưa, test có pass không) |
| Grader | Logic chấm một khía cạnh; một task có thể có nhiều grader |
| Eval harness | Hạ tầng chạy task, dựng môi trường, ghi transcript, chấm, tổng hợp |
| Suite | Tập task cùng đo một năng lực |
Lưu ý quan trọng: bạn đang đánh giá model + harness cùng nhau. "Agent nói đã hoàn tiền" (transcript) khác với "khoản hoàn tiền có trong database" (outcome) — luôn ưu tiên chấm outcome.
Ba loại grader
| Loại | Ví dụ | Mạnh | Yếu |
|---|---|---|---|
| Bằng code | Chạy test; so trạng thái database; khớp chuỗi/regex; kiểm tra tool nào đã được gọi; đếm bước, token | Nhanh, rẻ, khách quan, lặp lại được | Giòn với biến thể hợp lệ; không chấm được sắc thái |
| Bằng model | Chấm theo rubric; kiểm tra nhận định có được nguồn đỡ không; so cặp hai kết quả | Linh hoạt, chấm được việc mở | Không tất định; tốn tiền; phải được hiệu chỉnh với người |
| Bằng người | Chuyên gia review; kiểm tra mẫu ngẫu nhiên; A/B với người dùng | Chuẩn vàng | Chậm, đắt, không mở rộng được |
Nguyên tắc: dùng grader bằng code ở mọi chỗ có thể, grader bằng model ở chỗ cần, và người để hiệu chỉnh grader bằng model. Viết grader bằng model cho tốt:
- Mỗi grader một tiêu chí, rubric cụ thể, thang điểm ít mức (đạt/không đạt tốt hơn 1-10).
- Cho lối thoát: phép trả "không đủ thông tin để chấm" thay vì ép đoán.
- Yêu cầu lý do trước, điểm sau, và trả structured output.
- Hiệu chỉnh: lấy 50-100 mẫu, người chấm tay, đo mức đồng thuận với grader; sửa rubric đến khi đủ tin cậy. Làm lại khi đổi model chấm.
- Chấm sản phẩm, đừng ép đường đi: "phải gọi tool A rồi B" phạt oan các lời giải sáng tạo hợp lệ. Chỉ kiểm tra đường đi cho ràng buộc thật (không được gọi tool xoá; phải xác minh danh tính trước khi hoàn tiền).
Thiết kế nhiệm vụ eval
tasks = [
{
"id": "refund-partial-damaged-item",
"setup": "fixtures/order_with_3_items.sql", # trạng thái ban đầu của môi trường
"input": "Tôi nhận đơn DH-104233 thì cái bình giữ nhiệt bị móp. Tôi muốn hoàn tiền món đó thôi.",
"graders": [
{"type": "state", "check": "refunds_table_has(order='DH-104233', amount=189000)"},
{"type": "state", "check": "order_status('DH-104233') == 'partially_refunded'"},
{"type": "tools", "must_call": ["verify_customer_identity"], "must_not_call": ["cancel_order"]},
{"type": "rubric", "criteria": "Phản hồi xác nhận số tiền hoàn và thời gian dự kiến, giọng điệu đồng cảm."},
{"type": "budget", "max_steps": 12},
],
"reference_solution": "verify → get_order → draft_refund(item=2) → confirm_refund",
},
]
- Rõ ràng: hai chuyên gia độc lập đọc task phải đi tới cùng kết luận đạt/không đạt. Task mơ hồ tạo nhiễu, không tạo tín hiệu.
- Có lời giải tham chiếu: chứng minh task giải được và grader chấm đúng. Tỉ lệ đạt 0% qua nhiều lần chạy thường là task hoặc grader hỏng, không phải agent kém.
- Cân bằng: có cả ca agent nên làm X lẫn ca không nên làm X. Chỉ kiểm tra "có tìm kiếm khi cần" sẽ sinh ra agent tìm kiếm mọi lúc.
- Môi trường sạch mỗi trial: dựng lại từ fixture; trạng thái sót lại từ lần trước làm kết quả tương quan giả.
- Lấy từ thực tế: lỗi người dùng báo, ca hỗ trợ khó, kiểm thử tay bạn vẫn làm trước mỗi lần phát hành.
Các chỉ số và cách đọc
| Chỉ số | Ý nghĩa |
|---|---|
| Tỉ lệ thành công | Phần trăm trial đạt mọi grader bắt buộc — chỉ số chính |
| pass@k | Xác suất ít nhất một trong k lần thử đạt. Hợp khi người dùng có thể thử lại hoặc chọn kết quả tốt nhất |
| pass^k | Xác suất cả k lần đều đạt. Đo độ nhất quán — thứ agent phục vụ khách hàng cần |
| Chi phí / số bước / thời gian cho mỗi task | Hiệu quả; so sánh trên các task đều đạt |
| Tỉ lệ lỗi tool, số lần gọi lặp | Chỉ báo sớm về thiết kế tool tồi |
| Tỉ lệ vi phạm ràng buộc | An toàn: gọi tool cấm, bỏ bước xác minh — cần gần 0 |
Hai con số pass kể hai câu chuyện khác nhau: agent đạt 75% mỗi lần thì pass@3 khoảng 98% nhưng pass^3 chỉ khoảng 42%. Một agent "thường đúng" có thể rất không đáng tin khi mỗi khách hàng chỉ gặp nó một lần.
Đọc transcript là không thể thay thế. Con số cho biết có vấn đề; transcript cho biết vấn đề gì. Với mỗi trial trượt, hỏi: agent sai thật, hay grader chấm oan một lời giải hợp lệ, hay task mơ hồ? Chỉ khi các lần trượt "có vẻ công bằng" thì điểm số mới đáng tin.
Quy trình xây bộ eval từ con số không
- Bắt đầu sớm và nhỏ: 20-50 nhiệm vụ lấy từ lỗi thật là đủ để khởi đầu. Giai đoạn đầu mỗi thay đổi có tác động lớn nên mẫu nhỏ vẫn cho tín hiệu.
- Dựng harness ổn định: mỗi trial cách ly, chạy song song, lưu transcript đầy đủ.
- Viết grader, ưu tiên chấm trạng thái cuối.
- Chạy đường cơ sở, đọc transcript của các ca trượt, sửa task/grader hỏng trước.
- Tách hai loại suite:
- Capability eval — việc agent còn làm chưa tốt; tỉ lệ đạt thấp; là "ngọn đồi" để leo.
- Regression eval — việc đã làm được; tỉ lệ đạt gần 100%; chạy trong CI để chặn thụt lùi. Task capability khi đã đạt ổn định thì "tốt nghiệp" sang regression.
- Bổ sung liên tục: mỗi lỗi production thành một task mới.
def run_suite(tasks, agent, trials=5):
results = []
for task in tasks:
for i in range(trials):
env = Environment.from_fixture(task["setup"]) # môi trường sạch cho mỗi trial
transcript = agent.run(task["input"], env=env, max_steps=30)
grades = [grade(g, transcript, env) for g in task["graders"]]
results.append({"task": task["id"], "trial": i, "passed": all(g.passed for g in grades),
"grades": grades, "cost": transcript.cost, "steps": transcript.steps})
save_transcript(task["id"], i, transcript) # để đọc lại khi trượt
return summarize(results) # tỉ lệ đạt, pass^k, chi phí, theo từng task
Benchmark công khai, và đánh giá trong production
| Benchmark | Đo gì |
|---|---|
| SWE-bench (Verified) | Sửa issue thật trên repo mã nguồn mở, chấm bằng test |
| Terminal-Bench | Tác vụ trong môi trường dòng lệnh |
| τ-bench | Agent hội thoại dùng tool theo chính sách (bán lẻ, hàng không); đo cả độ nhất quán pass^k |
| GAIA | Trợ lý tổng quát: tra cứu, suy luận nhiều bước, dùng công cụ |
| WebArena / OSWorld | Thao tác trên web / hệ điều hành thật |
Benchmark công khai giúp chọn model và hiểu cách thiết kế eval; chúng không thay được bộ eval trên chính bài toán của bạn. Model đứng đầu bảng xếp hạng chưa chắc tốt nhất cho bộ tool và dữ liệu của bạn.
Eval tự động chỉ là một lớp. Bức tranh đầy đủ:
| Lớp | Khi nào | Bắt được gì |
|---|---|---|
| Eval tự động | Trước khi phát hành, mỗi thay đổi | Thụt lùi, so sánh phương án |
| Theo dõi production | Liên tục | Trôi dạt phân bố, lỗi chưa lường |
| Chấm mẫu transcript thật | Hằng tuần | Vấn đề chất lượng tinh tế; hiệu chỉnh grader |
| Phản hồi người dùng, A/B | Sau phát hành | Giá trị thật với người dùng |
🏋️ Bài tập thực hành
Chọn agent bạn đã xây (hỗ trợ khách hàng với database giả là lựa chọn tốt vì có trạng thái để chấm). (1) Viết 25 task có fixture môi trường, gồm ít nhất 5 ca "không nên hành động" và 3 ca có yếu tố gây nhiễu. (2) Viết grader: trạng thái database, ràng buộc tool, một rubric bằng model, và ngân sách bước. (3) Hiệu chỉnh grader bằng model: tự chấm tay 40 kết quả, đo đồng thuận, sửa rubric. (4) Chạy 5 trial mỗi task, báo cáo tỉ lệ đạt, pass^5, chi phí trung bình. (5) Đọc toàn bộ transcript trượt, phân loại: lỗi agent / lỗi grader / task mơ hồ. (6) Thực hiện một cải tiến (sửa mô tả tool hoặc prompt), chạy lại, và chứng minh bằng số rằng nó có ích mà không gây thụt lùi. (7) Đưa 10 task ổn định nhất vào CI làm regression suite.
📚 Tài nguyên học tập
-
Anthropic — Demystifying evals for AI agentsTừ vựng, loại grader, và lộ trình xây eval cho agentBài viết
-
Yao et al. — τ-benchBenchmark agent hội thoại dùng tool; giới thiệu chỉ số pass^kPaper
-
SWE-benchBenchmark coding agent trên issue GitHub thậtBenchmark
-
Inspect AIFramework eval mã nguồn mở hỗ trợ agent, sandbox, nhiều loại graderCông cụ
-
Hamel Husain — Your AI Product Needs EvalsThực hành: phân tích lỗi, đọc dữ liệu, xây eval từ dưới lênBài viết
-
Mialon et al. — GAIABenchmark cho trợ lý AI tổng quátPaper
✅ Tự đánh giá hoàn thành
- Phân biệt được transcript và outcome, và ưu tiên chấm outcome
- Bộ eval của mình kết hợp grader bằng code và bằng model; grader bằng model đã được hiệu chỉnh với người
- Task có fixture môi trường sạch, lời giải tham chiếu, và cân bằng ca nên/không nên hành động
- Báo cáo được tỉ lệ đạt, pass^k và chi phí; giải thích được vì sao pass@k và pass^k khác nhau
- Có regression suite chạy trong CI và quy trình biến lỗi production thành task mới