AI Agents & Agentic AI
Trang chủ / Module 4
🧠 Module 4 / 16 · 1-2 tuần

Context Engineering — Quản lý những gì Agent nhìn thấy

Context là tài nguyên hữu hạn. Viết system prompt cho agent, nạp thông tin đúng lúc, và giữ context gọn qua hàng trăm bước bằng compaction, ghi chú, và subagent.

ContextSystem PromptCompactionCaching
📌 Vì sao module này quan trọng

Prompt engineering hỏi "viết câu lệnh thế nào cho hay". Context engineering hỏi câu rộng hơn và quan trọng hơn với agent: ở bước thứ 47 của một tác vụ dài, model đang nhìn thấy những gì — và trong đó có bao nhiêu thứ thật sự cần? Một agent chạy lâu tự sinh ra phần lớn context của chính nó (kết quả tool, ghi chú, các lần thử sai). Không quản lý, context đầy dần rác, model chú ý kém dần, chi phí tăng dần, rồi agent "quên" yêu cầu ban đầu. Hầu hết lỗi của agent chạy dài là lỗi context, không phải lỗi model.

🎯 Mục tiêu học tập

  • Giải thích hiện tượng suy giảm chất lượng khi context dài (context rot) và nguyên tắc 'ít token nhất, tín hiệu cao nhất'
  • Viết system prompt cho agent ở đúng 'độ cao': đủ cụ thể để định hướng, đủ mở để model tự phán đoán
  • Áp dụng nạp thông tin đúng lúc (just-in-time) và tiết lộ dần (progressive disclosure) thay vì nhồi sẵn
  • Chọn đúng kỹ thuật cho tác vụ dài: xoá kết quả tool cũ, compaction, ghi chú có cấu trúc, subagent
  • Thiết kế context để tận dụng prompt caching và không vô tình phá cache

Context là ngân sách chú ý

Cửa sổ context 1 triệu token không có nghĩa là nên dùng hết. Khi context dài ra, khả năng model nhớ chính xác và ưu tiên đúng thông tin giảm dần — hiện tượng thường gọi là context rot. Thêm vào đó, mỗi token trong context được tính tiền lại ở mọi bước của vòng lặp.

Nguyên tắc chỉ đạo: tìm tập token nhỏ nhất, tín hiệu cao nhất, đủ để model làm đúng bước tiếp theo. Mọi kỹ thuật trong module này là biến thể của nguyên tắc đó.

Thành phần contextAi tạo raRủi ro chính
System promptBạnQuá dài, mâu thuẫn, kịch bản hoá quá mức
Định nghĩa toolBạn / MCP serverQuá nhiều tool, mô tả chồng chéo
Tài liệu/kiến thức nạp sẵnBạn / hệ thống truy xuấtNạp thứ không liên quan đến bước hiện tại
Lịch sử hội thoạiNgười dùng + modelDài dần, yêu cầu gốc bị chìm
Kết quả toolAgent tự gây raNguồn phình to nhanh nhất; phần lớn chỉ cần một lần

System prompt cho agent: đúng độ cao

Hai kiểu thất bại đối xứng:

  • Quá thấp (kịch bản hoá): "Bước 1 gọi tool A. Nếu kết quả chứa X thì gọi B. Nếu không thì..." — bạn đang viết workflow bằng văn xuôi. Giòn, vỡ ngay khi gặp tình huống chưa lường, và nếu thật sự cần mức xác định đó thì hãy viết bằng code (Module 5).
  • Quá cao (mơ hồ): "Bạn là trợ lý hữu ích, hãy làm tốt nhất có thể." — không cho model biết thế nào là tốt trong bối cảnh này.

Độ cao đúng là cách bạn giao việc cho một đồng nghiệp giỏi mới vào: bối cảnh, mục tiêu, tiêu chí hoàn thành, ràng buộc và lý do của chúng — rồi tin vào phán đoán của họ.

SYSTEM = '''
Bạn là agent hỗ trợ kỹ thuật cấp 2 của công ty phần mềm kế toán MISA-X. Người dùng là kế toán viên, thường
không rành kỹ thuật và đang bị chặn công việc.

## Mục tiêu
Giải quyết dứt điểm vấn đề trong một phiên nếu có thể. "Giải quyết" nghĩa là đã xác nhận bằng dữ liệu (log,
trạng thái tài khoản) rằng nguyên nhân đúng và cách sửa có hiệu lực — không phải đưa ra một danh sách phỏng đoán.

## Cách làm việc
- Tra cứu trước khi hỏi: phần lớn thông tin về tài khoản và lỗi gần đây bạn tự lấy được bằng tool. Chỉ hỏi
  người dùng những gì hệ thống không có.
- Mọi thao tác thay đổi dữ liệu kế toán đều không hoàn tác được ở phía người dùng, nên luôn mô tả thay đổi và
  chờ họ đồng ý trước khi thực hiện.
- Nếu sau khi tra cứu vẫn chưa rõ nguyên nhân, chuyển cho kỹ sư bằng escalate_to_engineer kèm tóm tắt những
  gì đã kiểm tra, để họ không phải làm lại từ đầu.

## Giọng điệu
Ngắn gọn, bình tĩnh, tránh thuật ngữ. Nói kết luận trước, giải thích sau.
'''
  • Giải thích lý do đằng sau ràng buộc ("vì không hoàn tác được") — model suy rộng đúng sang các trường hợp bạn chưa liệt kê.
  • Tránh viết hoa nhấn mạnh và "TUYỆT ĐỐI KHÔNG": với model hiện đại, nhấn mạnh quá mức gây phản ứng thái quá (áp dụng cứng nhắc ở cả chỗ không nên). Nói bình thường là đủ.
  • Ví dụ là con dao hai lưỡi: model bắt chước rất sát. Nếu đưa ví dụ, đưa vài cái đa dạng; thường mô tả tiêu chí bằng lời còn hiệu quả hơn.
  • Bắt đầu tối giản, thêm dần theo lỗi quan sát được trong eval — không viết trước hai trang quy tắc cho những lỗi chưa từng xảy ra.

Nạp đúng lúc và tiết lộ dần

Thay vì nhồi mọi thứ có thể liên quan vào context từ đầu, cho agent con trỏ tới thông tin và công cụ để tự lấy khi cần:

Nạp sẵn (pre-load)Nạp đúng lúc (just-in-time)
Dán cả 40 trang chính sách vào system promptMục lục chính sách + tool read_policy(section)
Nạp toàn bộ schema 200 bảngTool list_tables và describe_table
Đưa nội dung cả repoTool glob, grep, read_file — agent tự lần theo

Đây cũng là cách con người làm việc: không ai thuộc lòng cả kho tài liệu, ta nhớ nó nằm ở đâu. Tên file, cấu trúc thư mục, tiêu đề mục chính là metadata giúp agent định hướng.

Skills là hình thức đóng gói của ý tưởng này: mỗi skill là một thư mục có file SKILL.md; chỉ mô tả một dòng của skill nằm sẵn trong context, và agent chỉ đọc toàn bộ hướng dẫn (cùng script, tài liệu kèm theo) khi nhiệm vụ cần đến. Nhờ đó agent có thể "biết" hàng trăm quy trình chuyên biệt mà context nền vẫn gọn.

Thực tế thường là kết hợp: nạp sẵn một ít thứ chắc chắn cần (một file hướng dẫn dự án kiểu CLAUDE.md/AGENTS.md), còn lại để agent tự khám phá.

Giữ context gọn trong tác vụ dài

Kỹ thuậtCách hoạt độngDùng khiĐánh đổi
Xoá kết quả tool cũ (context editing)Tự động gỡ nội dung các kết quả tool đã cũ, giữ lại dấu vết rằng lời gọi đã xảy raNhiều lần đọc file/tìm kiếm mà kết quả chỉ cần một lầnAgent phải gọi lại nếu cần xem lại
CompactionKhi gần đầy, tóm tắt phần lịch sử cũ thành một khối ngắn rồi tiếp tụcPhiên rất dài, liên tụcMất chi tiết; tóm tắt tồi làm agent lạc hướng
Ghi chú có cấu trúcAgent tự ghi tiến độ, quyết định, việc còn lại ra file (NOTES.md, todo list) và đọc lạiTác vụ nhiều giờ, nhiều phiênCần hướng dẫn agent ghi gì
SubagentGiao phần việc "đọc nhiều" cho agent con có context riêng; chỉ nhận về bản tóm tắtKhám phá, nghiên cứu, việc song song đượcTốn thêm token tổng; mất chi tiết khi tóm tắt (Module 10)

Với API, hai kỹ thuật đầu có sẵn phía server; ví dụ bật xoá kết quả tool cũ:

response = client.beta.messages.create(
    model="claude-opus-5-5",
    max_tokens=16000,
    betas=["context-management-2025-06-27"],
    context_management={"edits": [{"type": "clear_tool_uses_20250919"}]},
    tools=TOOLS,
    messages=messages,
)

Một bản tóm tắt compaction tốt giữ lại: mục tiêu gốc và tiêu chí hoàn thành, các quyết định đã chốt cùng lý do, trạng thái hiện tại (file nào đã sửa, test nào đang fail), việc tiếp theo, và những điều đã thử mà không được. Thứ nên bỏ: nội dung thô của kết quả tool, các bước mò mẫm đã có kết luận.

⚠️ Nếu tự viết compaction

Kiểm tra bằng cách cho agent tiếp tục từ bản tóm tắt trên các tác vụ thật: nó có làm lại việc đã xong không? có quên ràng buộc người dùng nêu từ đầu không? Tối ưu để không mất thông tin cần trước, rồi mới tối ưu độ ngắn.

Prompt caching: điều kiện để vòng lặp dài có giá chấp nhận được

Cache hoạt động theo khớp tiền tố: phần đầu request giống hệt lần trước thì được tính giá đọc cache (khoảng 1/10 giá thường). Thứ tự ghép là tools → system → messages. Agent loop vốn là tình huống lý tưởng — mỗi bước chỉ nối thêm vào cuối — miễn là bạn không tự phá tiền tố.

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=16000,
    cache_control={"type": "ephemeral"},   # tự đặt điểm cache ở khối cuối cùng cache được
    system=SYSTEM,                          # bất biến trong suốt phiên
    tools=TOOLS,                            # cùng thứ tự, cùng nội dung mỗi bước
    messages=messages,                      # chỉ nối thêm
)
print(response.usage.cache_read_input_tokens)   # bằng 0 qua nhiều bước = có thứ đang phá cache
Thứ âm thầm phá cacheCách tránh
Thời gian hiện tại, ID phiên chèn vào system promptĐặt vào message người dùng, sau phần ổn định
Thêm/bớt/đổi thứ tự tool giữa phiênGiữ danh sách cố định; cần tool động thì dùng tool search (nối thêm, không thay)
Sửa system prompt giữa phiênThêm chỉ dẫn mới dưới dạng message ở cuối lịch sử
Đổi model giữa phiênGiữ vòng chính một model; việc rẻ giao cho subagent
Sửa/xoá message cũLịch sử chỉ nối thêm

Chẩn đoán lỗi context

Triệu chứngNguyên nhân context thường gặpHướng xử lý
Agent quên yêu cầu ban đầu sau nhiều bướcYêu cầu bị chìm dưới kết quả toolXoá kết quả tool cũ; ghi mục tiêu vào file ghi chú và đọc lại định kỳ
Làm lại việc đã làmCompaction làm rơi trạng tháiSửa lời nhắc tóm tắt; ghi tiến độ ra file
Chọn sai tool, bịa toolQuá nhiều tool/mô tả chồng chéoGộp tool, tool search
Áp dụng một quy tắc cứng nhắc ở chỗ vô lýPrompt nhấn mạnh quá mứcBỏ viết hoa, thêm lý do và phạm vi của quy tắc
Chi phí mỗi bước tăng rất nhanhCache không trúng hoặc kết quả tool quá lớnKiểm tra cache_read_input_tokens; giới hạn kích thước kết quả
Tin vào thông tin cũ/saiTài liệu lỗi thời nạp sẵn mâu thuẫn với kết quả toolBỏ nạp sẵn, chuyển sang truy xuất đúng lúc

🏋️ Bài tập thực hành

Đo và cắt giảm context của một agent chạy dài

Dùng agent ở Module 2 (thêm tool grep/glob), giao một nhiệm vụ cần 30+ bước trên một repo mã nguồn mở cỡ vừa ("tìm tất cả chỗ gọi hàm X đã deprecated và viết kế hoạch chuyển đổi"). Ghi lại theo từng bước: input token, cache_read token, kích thước từng kết quả tool. Vẽ biểu đồ. Sau đó áp dụng lần lượt: (1) giới hạn kích thước kết quả tool, (2) bật cache và sửa mọi thứ phá cache, (3) bật xoá kết quả tool cũ, (4) cho agent ghi tiến độ vào NOTES.md. Sau mỗi thay đổi chạy lại, so tổng chi phí và chất lượng kết quả cuối.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Giải thích được vì sao context lớn không đồng nghĩa nên dùng hết
  • System prompt của mình nêu bối cảnh, mục tiêu, tiêu chí hoàn thành và lý do của ràng buộc — không kịch bản hoá từng bước
  • Đã chuyển ít nhất một khối kiến thức nạp sẵn sang dạng truy xuất đúng lúc
  • Chọn được kỹ thuật phù hợp (xoá kết quả tool, compaction, ghi chú, subagent) cho một tác vụ dài cụ thể
  • Đã đo tỉ lệ trúng cache của agent và sửa hết những thứ phá cache