AI Agents & Agentic AI
Trang chủ / Module 13
📏 Module 13 / 16 · 2 tuần

Evaluation cho Agent — Đo lường thứ không tất định

Vì sao đánh giá agent khó hơn đánh giá LLM, từ vựng chuẩn (task, trial, grader, transcript), ba loại grader, các chỉ số, và quy trình xây bộ eval từ 20 nhiệm vụ đầu tiên.

EvalsGradersTrajectoryBenchmark
📌 Vì sao module này quan trọng

Không có eval, mọi thay đổi với agent là đánh bạc: bạn sửa prompt để chữa một lỗi, và không biết đã làm hỏng năm chỗ khác. Đội không có eval rơi vào vòng lặp phản ứng — chờ người dùng phàn nàn, sửa, chờ tiếp. Đội có eval biết ngay một model mới có tốt hơn cho mình không, một thay đổi tool có đáng không, và dám gỡ bớt giàn giáo. Khoá AI Engineer (Module 11) đã giới thiệu eval cho LLM/RAG; agent thêm ba cái khó: nhiều bước, nhiều đường đi đúng, và có thay đổi trạng thái thế giới.

🎯 Mục tiêu học tập

  • Dùng đúng từ vựng: task, trial, grader, transcript/trajectory, outcome, suite
  • Chọn và kết hợp ba loại grader: bằng code, bằng model, bằng người
  • Thiết kế nhiệm vụ eval tốt: rõ ràng, có lời giải tham chiếu, chấm kết quả thay vì đường đi
  • Đo và diễn giải các chỉ số: tỉ lệ thành công, pass@k và pass^k, chi phí, số bước
  • Xây và duy trì bộ eval: từ 20-50 nhiệm vụ đầu tiên đến tích hợp CI và theo dõi production

Vì sao khó, và từ vựng

Khó khănHệ quả cho cách đánh giá
Không tất địnhMột lần chạy không nói lên gì; cần nhiều lần thử cho mỗi nhiệm vụ
Nhiều đường đi đúngKhông so được với "chuỗi bước chuẩn"; phải chấm kết quả
Lỗi cộng dồnSai ở bước 3 làm hỏng 20 bước sau; cần đọc transcript để tìm gốc
Thay đổi trạng tháiPhải kiểm tra thế giới sau khi chạy (database, file), không chỉ lời agent nói
Đắt và chậmMỗi lần chạy tốn tiền và phút; bộ eval phải gọn, chạy song song
Thuật ngữNghĩa
TaskMột bài kiểm tra: đầu vào + môi trường ban đầu + tiêu chí thành công
TrialMột lần chạy một task. Mỗi task chạy nhiều trial
Transcript / trajectoryBản ghi đầy đủ của một trial: mọi lời gọi model, tool, kết quả
OutcomeTrạng thái cuối của môi trường (đơn đã được hoàn tiền chưa, test có pass không)
GraderLogic chấm một khía cạnh; một task có thể có nhiều grader
Eval harnessHạ tầng chạy task, dựng môi trường, ghi transcript, chấm, tổng hợp
SuiteTập task cùng đo một năng lực

Lưu ý quan trọng: bạn đang đánh giá model + harness cùng nhau. "Agent nói đã hoàn tiền" (transcript) khác với "khoản hoàn tiền có trong database" (outcome) — luôn ưu tiên chấm outcome.

Ba loại grader

LoạiVí dụMạnhYếu
Bằng codeChạy test; so trạng thái database; khớp chuỗi/regex; kiểm tra tool nào đã được gọi; đếm bước, tokenNhanh, rẻ, khách quan, lặp lại đượcGiòn với biến thể hợp lệ; không chấm được sắc thái
Bằng modelChấm theo rubric; kiểm tra nhận định có được nguồn đỡ không; so cặp hai kết quảLinh hoạt, chấm được việc mởKhông tất định; tốn tiền; phải được hiệu chỉnh với người
Bằng ngườiChuyên gia review; kiểm tra mẫu ngẫu nhiên; A/B với người dùngChuẩn vàngChậm, đắt, không mở rộng được

Nguyên tắc: dùng grader bằng code ở mọi chỗ có thể, grader bằng model ở chỗ cần, và người để hiệu chỉnh grader bằng model. Viết grader bằng model cho tốt:

  • Mỗi grader một tiêu chí, rubric cụ thể, thang điểm ít mức (đạt/không đạt tốt hơn 1-10).
  • Cho lối thoát: phép trả "không đủ thông tin để chấm" thay vì ép đoán.
  • Yêu cầu lý do trước, điểm sau, và trả structured output.
  • Hiệu chỉnh: lấy 50-100 mẫu, người chấm tay, đo mức đồng thuận với grader; sửa rubric đến khi đủ tin cậy. Làm lại khi đổi model chấm.
  • Chấm sản phẩm, đừng ép đường đi: "phải gọi tool A rồi B" phạt oan các lời giải sáng tạo hợp lệ. Chỉ kiểm tra đường đi cho ràng buộc thật (không được gọi tool xoá; phải xác minh danh tính trước khi hoàn tiền).

Thiết kế nhiệm vụ eval

tasks = [
    {
        "id": "refund-partial-damaged-item",
        "setup": "fixtures/order_with_3_items.sql",          # trạng thái ban đầu của môi trường
        "input": "Tôi nhận đơn DH-104233 thì cái bình giữ nhiệt bị móp. Tôi muốn hoàn tiền món đó thôi.",
        "graders": [
            {"type": "state",  "check": "refunds_table_has(order='DH-104233', amount=189000)"},
            {"type": "state",  "check": "order_status('DH-104233') == 'partially_refunded'"},
            {"type": "tools",  "must_call": ["verify_customer_identity"], "must_not_call": ["cancel_order"]},
            {"type": "rubric", "criteria": "Phản hồi xác nhận số tiền hoàn và thời gian dự kiến, giọng điệu đồng cảm."},
            {"type": "budget", "max_steps": 12},
        ],
        "reference_solution": "verify → get_order → draft_refund(item=2) → confirm_refund",
    },
]
  • Rõ ràng: hai chuyên gia độc lập đọc task phải đi tới cùng kết luận đạt/không đạt. Task mơ hồ tạo nhiễu, không tạo tín hiệu.
  • Có lời giải tham chiếu: chứng minh task giải được và grader chấm đúng. Tỉ lệ đạt 0% qua nhiều lần chạy thường là task hoặc grader hỏng, không phải agent kém.
  • Cân bằng: có cả ca agent nên làm X lẫn ca không nên làm X. Chỉ kiểm tra "có tìm kiếm khi cần" sẽ sinh ra agent tìm kiếm mọi lúc.
  • Môi trường sạch mỗi trial: dựng lại từ fixture; trạng thái sót lại từ lần trước làm kết quả tương quan giả.
  • Lấy từ thực tế: lỗi người dùng báo, ca hỗ trợ khó, kiểm thử tay bạn vẫn làm trước mỗi lần phát hành.

Các chỉ số và cách đọc

Chỉ sốÝ nghĩa
Tỉ lệ thành côngPhần trăm trial đạt mọi grader bắt buộc — chỉ số chính
pass@kXác suất ít nhất một trong k lần thử đạt. Hợp khi người dùng có thể thử lại hoặc chọn kết quả tốt nhất
pass^kXác suất cả k lần đều đạt. Đo độ nhất quán — thứ agent phục vụ khách hàng cần
Chi phí / số bước / thời gian cho mỗi taskHiệu quả; so sánh trên các task đều đạt
Tỉ lệ lỗi tool, số lần gọi lặpChỉ báo sớm về thiết kế tool tồi
Tỉ lệ vi phạm ràng buộcAn toàn: gọi tool cấm, bỏ bước xác minh — cần gần 0

Hai con số pass kể hai câu chuyện khác nhau: agent đạt 75% mỗi lần thì pass@3 khoảng 98% nhưng pass^3 chỉ khoảng 42%. Một agent "thường đúng" có thể rất không đáng tin khi mỗi khách hàng chỉ gặp nó một lần.

Đọc transcript là không thể thay thế. Con số cho biết có vấn đề; transcript cho biết vấn đề gì. Với mỗi trial trượt, hỏi: agent sai thật, hay grader chấm oan một lời giải hợp lệ, hay task mơ hồ? Chỉ khi các lần trượt "có vẻ công bằng" thì điểm số mới đáng tin.

Quy trình xây bộ eval từ con số không

  1. Bắt đầu sớm và nhỏ: 20-50 nhiệm vụ lấy từ lỗi thật là đủ để khởi đầu. Giai đoạn đầu mỗi thay đổi có tác động lớn nên mẫu nhỏ vẫn cho tín hiệu.
  2. Dựng harness ổn định: mỗi trial cách ly, chạy song song, lưu transcript đầy đủ.
  3. Viết grader, ưu tiên chấm trạng thái cuối.
  4. Chạy đường cơ sở, đọc transcript của các ca trượt, sửa task/grader hỏng trước.
  5. Tách hai loại suite:
    • Capability eval — việc agent còn làm chưa tốt; tỉ lệ đạt thấp; là "ngọn đồi" để leo.
    • Regression eval — việc đã làm được; tỉ lệ đạt gần 100%; chạy trong CI để chặn thụt lùi. Task capability khi đã đạt ổn định thì "tốt nghiệp" sang regression.
  6. Bổ sung liên tục: mỗi lỗi production thành một task mới.
def run_suite(tasks, agent, trials=5):
    results = []
    for task in tasks:
        for i in range(trials):
            env = Environment.from_fixture(task["setup"])          # môi trường sạch cho mỗi trial
            transcript = agent.run(task["input"], env=env, max_steps=30)
            grades = [grade(g, transcript, env) for g in task["graders"]]
            results.append({"task": task["id"], "trial": i, "passed": all(g.passed for g in grades),
                            "grades": grades, "cost": transcript.cost, "steps": transcript.steps})
            save_transcript(task["id"], i, transcript)             # để đọc lại khi trượt
    return summarize(results)                                       # tỉ lệ đạt, pass^k, chi phí, theo từng task

Benchmark công khai, và đánh giá trong production

BenchmarkĐo gì
SWE-bench (Verified)Sửa issue thật trên repo mã nguồn mở, chấm bằng test
Terminal-BenchTác vụ trong môi trường dòng lệnh
τ-benchAgent hội thoại dùng tool theo chính sách (bán lẻ, hàng không); đo cả độ nhất quán pass^k
GAIATrợ lý tổng quát: tra cứu, suy luận nhiều bước, dùng công cụ
WebArena / OSWorldThao tác trên web / hệ điều hành thật

Benchmark công khai giúp chọn model và hiểu cách thiết kế eval; chúng không thay được bộ eval trên chính bài toán của bạn. Model đứng đầu bảng xếp hạng chưa chắc tốt nhất cho bộ tool và dữ liệu của bạn.

Eval tự động chỉ là một lớp. Bức tranh đầy đủ:

LớpKhi nàoBắt được gì
Eval tự độngTrước khi phát hành, mỗi thay đổiThụt lùi, so sánh phương án
Theo dõi productionLiên tụcTrôi dạt phân bố, lỗi chưa lường
Chấm mẫu transcript thậtHằng tuầnVấn đề chất lượng tinh tế; hiệu chỉnh grader
Phản hồi người dùng, A/BSau phát hànhGiá trị thật với người dùng

🏋️ Bài tập thực hành

Bộ eval 25 nhiệm vụ cho agent của bạn

Chọn agent bạn đã xây (hỗ trợ khách hàng với database giả là lựa chọn tốt vì có trạng thái để chấm). (1) Viết 25 task có fixture môi trường, gồm ít nhất 5 ca "không nên hành động" và 3 ca có yếu tố gây nhiễu. (2) Viết grader: trạng thái database, ràng buộc tool, một rubric bằng model, và ngân sách bước. (3) Hiệu chỉnh grader bằng model: tự chấm tay 40 kết quả, đo đồng thuận, sửa rubric. (4) Chạy 5 trial mỗi task, báo cáo tỉ lệ đạt, pass^5, chi phí trung bình. (5) Đọc toàn bộ transcript trượt, phân loại: lỗi agent / lỗi grader / task mơ hồ. (6) Thực hiện một cải tiến (sửa mô tả tool hoặc prompt), chạy lại, và chứng minh bằng số rằng nó có ích mà không gây thụt lùi. (7) Đưa 10 task ổn định nhất vào CI làm regression suite.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Phân biệt được transcript và outcome, và ưu tiên chấm outcome
  • Bộ eval của mình kết hợp grader bằng code và bằng model; grader bằng model đã được hiệu chỉnh với người
  • Task có fixture môi trường sạch, lời giải tham chiếu, và cân bằng ca nên/không nên hành động
  • Báo cáo được tỉ lệ đạt, pass^k và chi phí; giải thích được vì sao pass@k và pass^k khác nhau
  • Có regression suite chạy trong CI và quy trình biến lỗi production thành task mới