Suy luận, Lập kế hoạch & Tự kiểm chứng
Từ ReAct đến Plan-and-Execute và Reflection: agent suy nghĩ, lập kế hoạch và tự kiểm tra kết quả như thế nào — và cách các kỹ thuật này thay đổi khi model đã có khả năng suy luận sẵn.
Các tên gọi ReAct, Plan-and-Execute, Reflexion ra đời khi model còn phải được "dạy" suy nghĩ bằng prompt. Ngày nay model có cơ chế suy luận tích hợp (thinking) và tự xen kẽ suy nghĩ giữa các lần gọi tool, nên nhiều kỹ thuật cũ đã chuyển từ "thứ phải tự cài" thành "thứ cần hiểu để điều chỉnh". Điều không đổi là ba câu hỏi: agent có kế hoạch không, có giữ được kế hoạch qua một tác vụ dài không, và có cách nào để biết mình sai không. Câu thứ ba quyết định nhiều nhất.
🎯 Mục tiêu học tập
- Hiểu ReAct, Plan-and-Execute, Reflection ở mức ý tưởng cốt lõi và hình thái hiện đại của chúng
- Điều chỉnh mức suy luận của model bằng tham số thinking/effort theo từng loại tác vụ
- Cho agent công cụ lập và theo dõi kế hoạch (todo list, file kế hoạch) cho tác vụ dài
- Thiết kế vòng kiểm chứng: agent có cách khách quan để biết kết quả đúng hay sai
- Nhận diện các kiểu thất bại về lập kế hoạch: dừng sớm, lạc hướng, lập kế hoạch quá mức
ReAct: ý tưởng gốc và hình thái hiện đại
ReAct (Reason + Act, 2022) đề xuất xen kẽ Suy nghĩ → Hành động → Quan sát:
model viết ra lập luận, chọn hành động, đọc kết quả, rồi lập luận tiếp. Bản gốc cài bằng cách ép model
sinh văn bản theo khuôn Thought: ... Action: ... Observation: ... rồi phân tích chuỗi.
Ngày nay bạn không cần tự cài khuôn đó: tool calling có cấu trúc thay cho việc phân tích chuỗi, và cơ chế thinking của model thay cho dòng "Thought". Vòng lặp ở Module 2 chính là ReAct hiện đại. Điều còn giá trị là bài học: để model suy nghĩ giữa các hành động, dựa trên kết quả vừa quan sát, tốt hơn hẳn việc lập sẵn toàn bộ chuỗi hành động rồi chạy mù.
Các chỉ dẫn kiểu "Trước mỗi hành động hãy viết Thought:" hay "suy nghĩ từng bước" là thừa với model có thinking, và có thể làm kết quả tệ hơn. Muốn model suy nghĩ kỹ hơn, tăng effort; muốn thấy lập luận, bật hiển thị tóm tắt suy nghĩ.
Điều khiển mức suy luận: thinking và effort
response = client.messages.create(
model="claude-opus-5-5",
max_tokens=16000,
thinking={"type": "adaptive", "display": "summarized"}, # model tự quyết định nghĩ nhiều hay ít
output_config={"effort": "high"}, # low | medium | high | xhigh | max
tools=TOOLS,
messages=messages,
)
| Effort | Hành vi điển hình trong agent loop | Hợp với |
|---|---|---|
low | Ít lời gọi tool hơn, gộp thao tác, trả lời ngắn | Subagent làm việc đơn giản, phân loại, tra cứu nhanh |
medium | Cân bằng chi phí/chất lượng | Phần lớn tác vụ hỗ trợ, tự động hoá thường ngày |
high / xhigh | Khám phá kỹ, kiểm tra lại, lập luận sâu | Coding, nghiên cứu, tác vụ dài nhiều bước |
max | Kỹ lưỡng tối đa | Khi tính đúng quan trọng hơn hẳn chi phí |
- Thinking xen kẽ: với adaptive thinking, model suy nghĩ lại sau mỗi kết quả tool — đúng tinh thần ReAct. Vì vậy phải trả nguyên các khối thinking về trong lịch sử.
- Effort là đòn bẩy chi phí-chất lượng đầu tiên nên thử, trước khi nghĩ tới chuyện đổi model hay dựng hệ nhiều model. Đo trên bộ eval của bạn: nhiều tuyến chạy tốt ở mức thấp hơn bạn nghĩ.
- Đánh giá theo chi phí cho mỗi tác vụ hoàn thành, không theo chi phí mỗi request: effort thấp mà phải chạy lại hai lần thì không hề rẻ.
Plan-and-Execute và kế hoạch như một công cụ
Plan-and-Execute: lập kế hoạch nhiều bước trước, rồi thực thi. Các biến thể: lập kế hoạch một lần (rẻ, nhưng không thích ứng), lập lại kế hoạch sau mỗi bước (thích ứng, đắt), hay ReWOO (lập kế hoạch có biến giữ chỗ để chạy tool song song không cần gọi lại model).
Trong các agent hiện đại, cách hiệu quả và đơn giản nhất là biến kế hoạch thành một tool agent tự dùng — một todo list:
todos: list[dict] = []
@beta_tool
def update_todos(items: list[dict]) -> str:
'''Ghi lại toàn bộ danh sách việc cần làm cho tác vụ hiện tại.
Dùng khi bắt đầu một tác vụ nhiều bước, và cập nhật ngay sau khi xong mỗi việc.
Args:
items: Danh sách việc, mỗi việc gồm "content" (mô tả) và "status" (pending | in_progress | done).
'''
todos[:] = items
done = sum(1 for t in items if t["status"] == "done")
return f"Đã lưu {len(items)} việc ({done} xong)."
Tool này không "làm" gì với thế giới bên ngoài — giá trị của nó là giữ kế hoạch ở cuối
context (nơi model chú ý nhất), chống lạc hướng trong tác vụ dài, và cho người dùng thấy tiến độ.
Với tác vụ kéo dài nhiều phiên, kế hoạch nên nằm trong file (PLAN.md,
PROGRESS.md) để sống sót qua compaction và khởi động lại.
| Tình huống | Cách lập kế hoạch nên dùng |
|---|---|
| Tác vụ ngắn (< 10 bước) | Không cần gì thêm — thinking là đủ |
| Tác vụ vừa, nhiều việc con | Tool todo list |
| Tác vụ dài, rủi ro cao | Chế độ "chỉ lập kế hoạch" → người duyệt kế hoạch → mới thực thi |
| Nhiều giờ, nhiều phiên | File kế hoạch + file tiến độ + commit git làm điểm kiểm tra |
Reflection và nguyên tắc 'cho agent cách tự kiểm chứng'
Reflection/Reflexion: agent xem lại kết quả của mình, tìm lỗi, sửa. Phiên bản ngây thơ ("hãy xem lại câu trả lời có đúng không") cho lợi ích hạn chế, vì model xét lại bằng chính những giả định đã dẫn tới lỗi. Reflection chỉ thật sự mạnh khi có tín hiệu từ bên ngoài:
| Loại tác vụ | Tín hiệu kiểm chứng khách quan |
|---|---|
| Viết/sửa code | Chạy test, type-check, linter, build |
| Giao diện web | Chụp màn hình và so với thiết kế; chạy thử thao tác trong trình duyệt |
| Truy vấn dữ liệu | Chạy query, kiểm tra số dòng, đối chiếu tổng với nguồn khác |
| Nghiên cứu/báo cáo | Mỗi nhận định có nguồn; mở lại nguồn để xác nhận trích dẫn |
| Thao tác hệ thống | Đọc lại trạng thái sau khi ghi (read-after-write) |
Đây là một trong những đòn bẩy lớn nhất của cả lĩnh vực: một agent có cách kiểm tra kết quả sẽ tự lặp đến khi đúng; một agent không có thì dừng ở "trông có vẻ đúng". Khi thiết kế bất kỳ agent nào, hãy hỏi: nó biết mình xong bằng cách nào?
Khi không có tín hiệu tự động, dùng người thẩm định độc lập: một lời gọi model khác, context sạch (không thấy quá trình làm), được giao vai tìm lỗi. Với kết quả quan trọng, yêu cầu agent trình bằng chứng trong báo cáo cuối (output của lệnh test, đường dẫn file) thay vì chỉ khẳng định.
Các kiểu thất bại về lập kế hoạch
| Triệu chứng | Nguyên nhân | Xử lý |
|---|---|---|
| Dừng sớm: báo "xong" khi mới làm một phần | Tiêu chí hoàn thành mơ hồ; không có bước kiểm chứng | Nêu rõ "xong nghĩa là gì"; bắt buộc chạy kiểm chứng trước khi kết thúc; todo list |
| Khẳng định sai về kết quả: "test đã pass" khi chưa chạy | Không yêu cầu bằng chứng | Yêu cầu dán output thật; harness tự kiểm tra lại |
| Lạc hướng: sa vào việc phụ | Mục tiêu gốc chìm trong context | File kế hoạch; nhắc lại mục tiêu; giới hạn phạm vi trong prompt |
| Lặp vô ích: thử đi thử lại một cách | Thông báo lỗi không đủ thông tin; không ghi nhận cái đã thử | Cải thiện lỗi của tool; phát hiện lặp ở harness; ghi chú "đã thử X, không được vì Y" |
| Lập kế hoạch quá mức: 30 bước cho việc 3 bước | Prompt ép luôn phải lập kế hoạch | Để model tự quyết khi nào cần kế hoạch; giảm effort |
| Hỏi lại quá nhiều hoặc không bao giờ hỏi | Không nói rõ mức tự chủ mong muốn | Nêu rõ: tự quyết việc gì, phải hỏi việc gì (thường là việc không hoàn tác được) |
🏋️ Bài tập thực hành
Mở rộng agent ở Module 2 với tool edit_file và run_tests. Chuẩn bị 8 bài
tập nhỏ: mỗi bài là một thư mục có code lỗi và bộ test đang fail. Chạy ba cấu hình: (1) không có tool chạy
test — agent sửa rồi tự tuyên bố xong; (2) có run_tests và prompt yêu cầu chỉ kết thúc khi test
pass; (3) như (2) cộng tool todo list. Với mỗi cấu hình, đo tỉ lệ bài thật sự pass (do bạn chạy test độc lập
sau cùng), số bước, chi phí — và đếm số lần agent tuyên bố "xong" mà thực tế chưa. Thử thêm cấu hình (2) ở
effort low/medium/high để thấy đường cong chi phí-chất lượng.
📚 Tài nguyên học tập
-
Yao et al. — ReAct: Synergizing Reasoning and ActingBài báo gốc của ReActPaper
-
Shinn et al. — ReflexionAgent tự phản tư bằng phản hồi ngôn ngữ sau mỗi lần thửPaper
-
Xu et al. — ReWOOTách lập kế hoạch khỏi quan sát để giảm số lời gọi modelPaper
-
Claude Docs — Adaptive thinkingCơ chế thinking và cách kết hợp với tool useDocs
-
Anthropic — Claude Code best practicesThực hành: khám phá → kế hoạch → code → kiểm chứngBài viết
✅ Tự đánh giá hoàn thành
- Giải thích được ReAct và vì sao vòng lặp tool-calling hiện đại đã bao hàm nó
- Đã thử nghiệm các mức effort trên tác vụ của mình và chọn mức dựa trên số liệu
- Agent của mình có công cụ theo dõi kế hoạch phù hợp với độ dài tác vụ
- Mỗi loại tác vụ agent làm đều có một tín hiệu kiểm chứng khách quan
- Nhận diện được ít nhất 4 kiểu thất bại về lập kế hoạch từ transcript thật