智能体上下文工程是什么？

Context Engineering（上下文工程）是 AI 领域一个新兴的术语。讨论的重点从 “提示工程” 转向一个更广泛、更强大的概念。理解为：「为任务提供所有上下文，使 LLM 能够最好的解决问题」。

随着智能体的兴起，决定智能体成功或者失败的「最大因素」是提供的上下文的质量，而不是模型的是否强大。

什么是上下文工程？

简单的说，上下文工程是一系列旨在优化、管理和控制输入给 LLM 的上下文信息，目标是模型最大化性能、效率、成本效益等。

• 「核心目标：」
• 「优化效率：」 在有限的上下文内，让模型获取到最相关、最关键、生成更准确，一致的输出。
• 「优化成本：」 减少输入的 tokens 数，可以有效降低成本。
• 「提高质量：」 提升输入的信噪比。
• 「与提示工程的区别：」
• 「提示工程：」 更关注指令的设计本身，指导模型做什么和怎么做，比如思维链、角色扮演、格式要求等。
• 「上下文工程：」 主要聚焦在管理和优化提供给模型的背景信息。解决的是，给模型看什么的问题，尤其在信息量庞大或需要精挑细选时。
• 一般来说，提示工程也是上下文工程中的一个子项。

现代化的智能体也需要有上下文才能更好的工作。Andrej Karpathy（没错，还是那个男人 https://www.youtube.com/watch?v=7xTGNNLPyMI^[1]）说过，LLMs 就像一种新的操作系统，LLM 是 CPU，而上下文窗口就是 RAM，作为模型的内存。需要对精挑细选后再放入 CPU 中。

这个 Twitter 上大家讨论也很活跃：https://x.com/karpathy/status/1937902205765607626?lang=en^[2]

上下文窗口架构

目前还没有统一的或者比较流行的架构，但是一般来说会分为三类：

1. 「Guiding Context：」 核心为 Prompt，知道模型如何做。包含系统提示词、任务描述、少量示例、输出格式等。
2. 「Informational Context：」 核心为补充相关信息，让模型把知识锁定在一个确认的范围内，避免幻觉，提高信噪比。主要有 RAG、知识图谱、短时记忆、长时记忆、草稿等。
3. 「Actionable Context：」 核心为工具，连接外部资源，对信息进行补充，提高模型的输出质量。

甚至有人开始想做成一种规范：

• https://github.com/contextwindowarchitecture^[3]
• https://docs.google.com/document/d/1qR9qa00eW8ud0x7yoP2XicH38ibP33xWCnQHVRd0C4Q/edit?tab=t.0^[4]

当然一个好的上下文工程，还需要实现很多细节，内容也不局限在上面这些。

智能体的上下文工程

今年以来，LLMs 在推理和工具层面的能力不断的提升。

一个任务经常需要长时间的运行，不断的调用工具并反馈给 LLM，持续的对话回合也非常长。这种数据的累计对于 LLM 和 智能体都是一个负担，同时也会消耗大量的 token，提高着用户的使用成本，增加了网络延迟等问题。还会经常伴随着几个问题：

• 幻觉数据进入上下文，导致错误的数据出现。
• 上下文容易超出限制。
• 多余的、不相关数据进入上下文。
• 有时候甚至出现上下文内容不一致。

所以，一个好用的智能体，「上下文工程、上下文管理策略是关键！」

Context Memory 上下文记忆

可以分为长时记忆和短时记忆。把信息保存在起来，可以帮助智能体完成任务。

Anhtropic 的多智能体研究院也说过：

❝

The LeadResearcher begins by thinking through the approach and saving its plan to Memory to persist the context, since if the context window exceeds 200,000 tokens it will be truncated and it is important to retain the plan.

❞

当要执行一个新任务时，如果智能体有记忆的能力。这时候可以选择于任务相关的数据，包括示例、行为、事实等。

目前流行的做法是，把长时记忆用规则文件保存以来，比如 Cluade 使用 CLAUDE.md。

但是，如果需要存储大量的事实或者关系数据，这时候使用嵌入型数据库或者知识图谱就比较合适了。

同时合理运用 RAG 技术，也提高了智能体使用工具和知识的能力和准确性。

代码例子：

[
  {
    "role": "system",
    "content": "You are a helpful assistant..."
  },
  {
    "role": "user",
    "content": |
            Here's everything that happened so far:
        
        <slack_message>
            From: @alex
            Channel: #deployments
            Text: Can you deploy the backend?
        </slack_message>
        
        <list_git_tags>
            intent: "list_git_tags"
        </list_git_tags>
        
        <list_git_tags_result>
            tags:
              - name: "v1.2.3"
                commit: "abc123"
                date: "2024-03-15T10:00:00Z"
              - name: "v1.2.2"
                commit: "def456"
                date: "2024-03-14T15:30:00Z"
              - name: "v1.2.1"
                commit: "ghi789"
                date: "2024-03-13T09:15:00Z"
        </list_git_tags_result>
        
        what's the next step?
    }
]

slack_message、list_git_tags、list_git_tags_result 都是通过上下文管理，从工具或者其他地方提取的数据。放进去之后，LLM 就能更好了解到用户意图。

Context Compression 上下文压缩

智能体的交互可能经过几百个回合，这时候会堆积大量的数据。Claude Code 的策略是当超过 95% 的窗口限制时，运行 “自动压缩”，可以是：

• 分层摘要，提炼出关键信息。
• 智能地选择原始文档中的哪些部分需要完整保留作为上下文。
• 从原始上下文中精准抽取出与任务直接相关的结构化信息片段（如特定实体、关系、关键事实、代码片段），而非传递原始文本。这要求对任务有明确的理解。
• 研究更高效的Token表示方法或注意力机制变体，试图在不损失信息的前提下物理减少存储和计算需求（如Token合并技术）。

Context Isolation 上下文隔离

常见的就是采用多智能体，进行关注点分离。把任务拆分给多个智能体来执行。每个智能体都拥有自己一套工具、指令、上下文窗口等。

其次还可以使用环境隔离，比如智能体生成代码，然后把代码放在一个独立的环境执行，最后把结果再返回给智能体。

Reference