Context Engineering — Quản lý những gì Agent nhìn thấy
Context là tài nguyên hữu hạn. Viết system prompt cho agent, nạp thông tin đúng lúc, và giữ context gọn qua hàng trăm bước bằng compaction, ghi chú, và subagent.
Prompt engineering hỏi "viết câu lệnh thế nào cho hay". Context engineering hỏi câu rộng hơn và quan trọng hơn với agent: ở bước thứ 47 của một tác vụ dài, model đang nhìn thấy những gì — và trong đó có bao nhiêu thứ thật sự cần? Một agent chạy lâu tự sinh ra phần lớn context của chính nó (kết quả tool, ghi chú, các lần thử sai). Không quản lý, context đầy dần rác, model chú ý kém dần, chi phí tăng dần, rồi agent "quên" yêu cầu ban đầu. Hầu hết lỗi của agent chạy dài là lỗi context, không phải lỗi model.
🎯 Mục tiêu học tập
- Giải thích hiện tượng suy giảm chất lượng khi context dài (context rot) và nguyên tắc 'ít token nhất, tín hiệu cao nhất'
- Viết system prompt cho agent ở đúng 'độ cao': đủ cụ thể để định hướng, đủ mở để model tự phán đoán
- Áp dụng nạp thông tin đúng lúc (just-in-time) và tiết lộ dần (progressive disclosure) thay vì nhồi sẵn
- Chọn đúng kỹ thuật cho tác vụ dài: xoá kết quả tool cũ, compaction, ghi chú có cấu trúc, subagent
- Thiết kế context để tận dụng prompt caching và không vô tình phá cache
Context là ngân sách chú ý
Cửa sổ context 1 triệu token không có nghĩa là nên dùng hết. Khi context dài ra, khả năng model nhớ chính xác và ưu tiên đúng thông tin giảm dần — hiện tượng thường gọi là context rot. Thêm vào đó, mỗi token trong context được tính tiền lại ở mọi bước của vòng lặp.
Nguyên tắc chỉ đạo: tìm tập token nhỏ nhất, tín hiệu cao nhất, đủ để model làm đúng bước tiếp theo. Mọi kỹ thuật trong module này là biến thể của nguyên tắc đó.
| Thành phần context | Ai tạo ra | Rủi ro chính |
|---|---|---|
| System prompt | Bạn | Quá dài, mâu thuẫn, kịch bản hoá quá mức |
| Định nghĩa tool | Bạn / MCP server | Quá nhiều tool, mô tả chồng chéo |
| Tài liệu/kiến thức nạp sẵn | Bạn / hệ thống truy xuất | Nạp thứ không liên quan đến bước hiện tại |
| Lịch sử hội thoại | Người dùng + model | Dài dần, yêu cầu gốc bị chìm |
| Kết quả tool | Agent tự gây ra | Nguồn phình to nhanh nhất; phần lớn chỉ cần một lần |
System prompt cho agent: đúng độ cao
Hai kiểu thất bại đối xứng:
- Quá thấp (kịch bản hoá): "Bước 1 gọi tool A. Nếu kết quả chứa X thì gọi B. Nếu không thì..." — bạn đang viết workflow bằng văn xuôi. Giòn, vỡ ngay khi gặp tình huống chưa lường, và nếu thật sự cần mức xác định đó thì hãy viết bằng code (Module 5).
- Quá cao (mơ hồ): "Bạn là trợ lý hữu ích, hãy làm tốt nhất có thể." — không cho model biết thế nào là tốt trong bối cảnh này.
Độ cao đúng là cách bạn giao việc cho một đồng nghiệp giỏi mới vào: bối cảnh, mục tiêu, tiêu chí hoàn thành, ràng buộc và lý do của chúng — rồi tin vào phán đoán của họ.
SYSTEM = '''
Bạn là agent hỗ trợ kỹ thuật cấp 2 của công ty phần mềm kế toán MISA-X. Người dùng là kế toán viên, thường
không rành kỹ thuật và đang bị chặn công việc.
## Mục tiêu
Giải quyết dứt điểm vấn đề trong một phiên nếu có thể. "Giải quyết" nghĩa là đã xác nhận bằng dữ liệu (log,
trạng thái tài khoản) rằng nguyên nhân đúng và cách sửa có hiệu lực — không phải đưa ra một danh sách phỏng đoán.
## Cách làm việc
- Tra cứu trước khi hỏi: phần lớn thông tin về tài khoản và lỗi gần đây bạn tự lấy được bằng tool. Chỉ hỏi
người dùng những gì hệ thống không có.
- Mọi thao tác thay đổi dữ liệu kế toán đều không hoàn tác được ở phía người dùng, nên luôn mô tả thay đổi và
chờ họ đồng ý trước khi thực hiện.
- Nếu sau khi tra cứu vẫn chưa rõ nguyên nhân, chuyển cho kỹ sư bằng escalate_to_engineer kèm tóm tắt những
gì đã kiểm tra, để họ không phải làm lại từ đầu.
## Giọng điệu
Ngắn gọn, bình tĩnh, tránh thuật ngữ. Nói kết luận trước, giải thích sau.
'''
- Giải thích lý do đằng sau ràng buộc ("vì không hoàn tác được") — model suy rộng đúng sang các trường hợp bạn chưa liệt kê.
- Tránh viết hoa nhấn mạnh và "TUYỆT ĐỐI KHÔNG": với model hiện đại, nhấn mạnh quá mức gây phản ứng thái quá (áp dụng cứng nhắc ở cả chỗ không nên). Nói bình thường là đủ.
- Ví dụ là con dao hai lưỡi: model bắt chước rất sát. Nếu đưa ví dụ, đưa vài cái đa dạng; thường mô tả tiêu chí bằng lời còn hiệu quả hơn.
- Bắt đầu tối giản, thêm dần theo lỗi quan sát được trong eval — không viết trước hai trang quy tắc cho những lỗi chưa từng xảy ra.
Nạp đúng lúc và tiết lộ dần
Thay vì nhồi mọi thứ có thể liên quan vào context từ đầu, cho agent con trỏ tới thông tin và công cụ để tự lấy khi cần:
| Nạp sẵn (pre-load) | Nạp đúng lúc (just-in-time) |
|---|---|
| Dán cả 40 trang chính sách vào system prompt | Mục lục chính sách + tool read_policy(section) |
| Nạp toàn bộ schema 200 bảng | Tool list_tables và describe_table |
| Đưa nội dung cả repo | Tool glob, grep, read_file — agent tự lần theo |
Đây cũng là cách con người làm việc: không ai thuộc lòng cả kho tài liệu, ta nhớ nó nằm ở đâu. Tên file, cấu trúc thư mục, tiêu đề mục chính là metadata giúp agent định hướng.
Skills là hình thức đóng gói của ý tưởng này: mỗi skill là một thư mục có file
SKILL.md; chỉ mô tả một dòng của skill nằm sẵn trong context, và agent chỉ đọc toàn
bộ hướng dẫn (cùng script, tài liệu kèm theo) khi nhiệm vụ cần đến. Nhờ đó agent có thể "biết" hàng trăm
quy trình chuyên biệt mà context nền vẫn gọn.
Thực tế thường là kết hợp: nạp sẵn một ít thứ chắc chắn cần (một file hướng dẫn dự
án kiểu CLAUDE.md/AGENTS.md), còn lại để agent tự khám phá.
Giữ context gọn trong tác vụ dài
| Kỹ thuật | Cách hoạt động | Dùng khi | Đánh đổi |
|---|---|---|---|
| Xoá kết quả tool cũ (context editing) | Tự động gỡ nội dung các kết quả tool đã cũ, giữ lại dấu vết rằng lời gọi đã xảy ra | Nhiều lần đọc file/tìm kiếm mà kết quả chỉ cần một lần | Agent phải gọi lại nếu cần xem lại |
| Compaction | Khi gần đầy, tóm tắt phần lịch sử cũ thành một khối ngắn rồi tiếp tục | Phiên rất dài, liên tục | Mất chi tiết; tóm tắt tồi làm agent lạc hướng |
| Ghi chú có cấu trúc | Agent tự ghi tiến độ, quyết định, việc còn lại ra file (NOTES.md, todo list) và đọc lại | Tác vụ nhiều giờ, nhiều phiên | Cần hướng dẫn agent ghi gì |
| Subagent | Giao phần việc "đọc nhiều" cho agent con có context riêng; chỉ nhận về bản tóm tắt | Khám phá, nghiên cứu, việc song song được | Tốn thêm token tổng; mất chi tiết khi tóm tắt (Module 10) |
Với API, hai kỹ thuật đầu có sẵn phía server; ví dụ bật xoá kết quả tool cũ:
response = client.beta.messages.create(
model="claude-opus-5-5",
max_tokens=16000,
betas=["context-management-2025-06-27"],
context_management={"edits": [{"type": "clear_tool_uses_20250919"}]},
tools=TOOLS,
messages=messages,
)
Một bản tóm tắt compaction tốt giữ lại: mục tiêu gốc và tiêu chí hoàn thành, các quyết định đã chốt cùng lý do, trạng thái hiện tại (file nào đã sửa, test nào đang fail), việc tiếp theo, và những điều đã thử mà không được. Thứ nên bỏ: nội dung thô của kết quả tool, các bước mò mẫm đã có kết luận.
Kiểm tra bằng cách cho agent tiếp tục từ bản tóm tắt trên các tác vụ thật: nó có làm lại việc đã xong không? có quên ràng buộc người dùng nêu từ đầu không? Tối ưu để không mất thông tin cần trước, rồi mới tối ưu độ ngắn.
Prompt caching: điều kiện để vòng lặp dài có giá chấp nhận được
Cache hoạt động theo khớp tiền tố: phần đầu request giống hệt lần trước thì được tính
giá đọc cache (khoảng 1/10 giá thường). Thứ tự ghép là tools → system → messages. Agent loop
vốn là tình huống lý tưởng — mỗi bước chỉ nối thêm vào cuối — miễn là bạn không tự phá tiền tố.
response = client.messages.create(
model="claude-opus-5-5",
max_tokens=16000,
cache_control={"type": "ephemeral"}, # tự đặt điểm cache ở khối cuối cùng cache được
system=SYSTEM, # bất biến trong suốt phiên
tools=TOOLS, # cùng thứ tự, cùng nội dung mỗi bước
messages=messages, # chỉ nối thêm
)
print(response.usage.cache_read_input_tokens) # bằng 0 qua nhiều bước = có thứ đang phá cache
| Thứ âm thầm phá cache | Cách tránh |
|---|---|
| Thời gian hiện tại, ID phiên chèn vào system prompt | Đặt vào message người dùng, sau phần ổn định |
| Thêm/bớt/đổi thứ tự tool giữa phiên | Giữ danh sách cố định; cần tool động thì dùng tool search (nối thêm, không thay) |
| Sửa system prompt giữa phiên | Thêm chỉ dẫn mới dưới dạng message ở cuối lịch sử |
| Đổi model giữa phiên | Giữ vòng chính một model; việc rẻ giao cho subagent |
| Sửa/xoá message cũ | Lịch sử chỉ nối thêm |
Chẩn đoán lỗi context
| Triệu chứng | Nguyên nhân context thường gặp | Hướng xử lý |
|---|---|---|
| Agent quên yêu cầu ban đầu sau nhiều bước | Yêu cầu bị chìm dưới kết quả tool | Xoá kết quả tool cũ; ghi mục tiêu vào file ghi chú và đọc lại định kỳ |
| Làm lại việc đã làm | Compaction làm rơi trạng thái | Sửa lời nhắc tóm tắt; ghi tiến độ ra file |
| Chọn sai tool, bịa tool | Quá nhiều tool/mô tả chồng chéo | Gộp tool, tool search |
| Áp dụng một quy tắc cứng nhắc ở chỗ vô lý | Prompt nhấn mạnh quá mức | Bỏ viết hoa, thêm lý do và phạm vi của quy tắc |
| Chi phí mỗi bước tăng rất nhanh | Cache không trúng hoặc kết quả tool quá lớn | Kiểm tra cache_read_input_tokens; giới hạn kích thước kết quả |
| Tin vào thông tin cũ/sai | Tài liệu lỗi thời nạp sẵn mâu thuẫn với kết quả tool | Bỏ nạp sẵn, chuyển sang truy xuất đúng lúc |
🏋️ Bài tập thực hành
Dùng agent ở Module 2 (thêm tool grep/glob), giao một nhiệm vụ cần 30+ bước trên một repo mã nguồn mở cỡ vừa ("tìm tất cả chỗ gọi hàm X đã deprecated và viết kế hoạch chuyển đổi"). Ghi lại theo từng bước: input token, cache_read token, kích thước từng kết quả tool. Vẽ biểu đồ. Sau đó áp dụng lần lượt: (1) giới hạn kích thước kết quả tool, (2) bật cache và sửa mọi thứ phá cache, (3) bật xoá kết quả tool cũ, (4) cho agent ghi tiến độ vào NOTES.md. Sau mỗi thay đổi chạy lại, so tổng chi phí và chất lượng kết quả cuối.
📚 Tài nguyên học tập
-
Anthropic — Effective context engineering for AI agentsBài nền tảng về context engineering: độ cao của prompt, just-in-time, compaction, ghi chú, subagentBài viết
-
Claude Docs — Prompt cachingCơ chế cache, điểm đặt, giá, và cách kiểm traDocs
-
Claude Docs — Context editingTự động xoá kết quả tool và khối suy nghĩ cũDocs
-
Anthropic — Equipping agents for the real world with Agent SkillsTiết lộ dần (progressive disclosure) qua SkillsBài viết
-
Chroma — Context RotNghiên cứu thực nghiệm về suy giảm chất lượng khi context dàiNghiên cứu
✅ Tự đánh giá hoàn thành
- Giải thích được vì sao context lớn không đồng nghĩa nên dùng hết
- System prompt của mình nêu bối cảnh, mục tiêu, tiêu chí hoàn thành và lý do của ràng buộc — không kịch bản hoá từng bước
- Đã chuyển ít nhất một khối kiến thức nạp sẵn sang dạng truy xuất đúng lúc
- Chọn được kỹ thuật phù hợp (xoá kết quả tool, compaction, ghi chú, subagent) cho một tác vụ dài cụ thể
- Đã đo tỉ lệ trúng cache của agent và sửa hết những thứ phá cache