AI自主化：深入解读腾讯开源的通用Agent系统 Cognitive Kernel

1. 从Copilot到Autopilot的转变

在AI领域，我们已经见证了像ChatGPT和Microsoft Copilot这样的强大工具，它们极大地提高了我们在日常任务中的效率。但是，这些系统本质上仍然是Copilot，用户仍然需要管理大部分工作，比如规划工作流程、提出正确的问题、优化模型输出等。这就像我们开车时，辅助驾驶系统可以帮助我们保持车道、控制车速，但最终的决策权仍然掌握在驾驶员手中。

而Autopilot的目标则截然不同。它希望AI系统能够像真正的自动驾驶汽车一样，独立完成任务，无需人类过多干预。这需要AI系统能够主动感知环境、理解用户意图、自主决策，并最终完成整个任务。正如论文中提到的，一个Copilot系统可能帮助你起草一封邀请邮件的模板，而一个Autopilot系统则应该能够完全自主地撰写并发送这封邮件。

因此，为了实现这一目标，研究者们开始探索如何构建更智能、更自主的AI系统，这便是Cognitive Kernel诞生的背景。这篇论文的关键就在于，它提出了一种新的智能体系统设计思路，并给出了开源的实现方案，这对于推动整个领域的发展具有重要的意义。

2. 模型中心设计与三大核心组件

Cognitive Kernel的核心创新在于它采用了模型中心设计，而不是传统的环境中心设计。

• 环境中心设计：这种设计方式是为每个特定任务创建一个环境，并预先定义好一系列动作。智能体系统（通常是LLM）只能从这些预定义的动作中选择。这种方法简化了智能体系统的任务，使其更容易在特定环境中实现高性能，但不利于泛化。

  
  

• 模型中心设计：Cognitive Kernel则以LLM为核心，赋予其更大的自主性。当接收到任务后，LLM会生成逐步计划，执行相应的动作，并主动收集所需的新状态信息。这使得智能体系统能够动态调整策略，更灵活地应对未知情况。

  
  

为了实现这种模型中心的设计，Cognitive Kernel构建了三个核心概念组件：

1. 推理内核（Reasoning Kernel）：这是系统的决策中心，负责根据当前观察到的状态生成下一步的计划并执行。为了应对现实世界的不确定性，推理内核使用编程语言（Python）作为媒介，允许使用 “if/else” 语句设计备选策略，并使用 “for loop” 迭代尝试不同选项。这就像人类在遇到复杂问题时，会制定详细的计划，并在执行过程中根据情况进行调整一样。

   
   

2. 感知内核（Perception Kernel）：这是系统的“眼睛”，负责主动感知环境中的状态信息。它可以通过多种方式获取信息，包括访问互联网（如使用浏览器与网页互动）和读取本地文件。感知内核的运作本身也是一个细粒度的自主任务，可以再次触发推理和记忆内核。这就像我们通过观察、搜索来获取信息一样。

• 时间局部信息感知：通过控制浏览器与网页互动，获取最新的实时信息，例如查找最新的GitHub提交详情。

• 空间局部信息感知：访问本地文件，例如读取文档，查找特定关键词。

• 历史信息感知：通过记忆内核，读取和存储与用户的长期交互信息，实现个性化。

  
  

1. 记忆内核（Memory Kernel）：这是系统的“记忆”，负责存储和检索过去的状态信息。它采用一种多粒度信息管理系统，将信息分解为文档、命题、关键概念等多个层级，并使用语义索引（嵌入）进行检索。这样可以更精确地查找相关信息。这就像人类的大脑一样，可以存储、检索和使用过去的信息来帮助决策。

   
   

这三大内核紧密结合，构成了一个完整的自主Agent系统。

3. 方法解析：关键技术的深入解读

为了让大家更深入地了解Cognitive Kernel，接下来我将详细解读论文中使用的关键技术和方法：

1️⃣ 原子动作与编程语言：

• Cognitive Kernel 不使用预定义的高级API调用，而是鼓励推理内核使用普通人可以执行的原子动作，比如“打开文件”、“点击按钮”。

• 系统将这些原子动作组合成复杂的操作，从而完成更高级的任务。

• 为了实现这种复杂的组合，Cognitive Kernel 选择使用编程语言（Python）作为计划和执行的媒介。

• 为什么要选择编程语言？ 因为编程语言具有更强的灵活性，可以处理不确定性，并且能利用循环、并行执行等机制提高效率。比如，可以用“if/else”语句来应对不同的情况，用“for loop”来多次尝试不同的选项。

  
  

2️⃣ 多粒度信息管理系统：

• 为了有效地管理记忆内核中的信息，Cognitive Kernel 采用了多粒度信息管理系统。这个系统将信息分解为以下几个层级：

• 文档（Documents）：最粗粒度的信息，即原始的输入文档。

• 命题（Propositions）：将文档中的句子分解为语义完整的单元，确保不丢失任何信息。例如，将“黄河在中国，长5464千米”分解为“黄河在中国”和“黄河的长度是5464千米”。

• 关键概念与视角（Key concept and perspective）：提取命题中的关键概念和视角，例如在“黄河在中国”中，关键概念是“黄河”，视角是“国家”。

• 提及的概念（Mentioned Concepts）：记录命题中所有被提及的概念，用于硬匹配。例如，"黄河在中国"中，提及的概念包括"黄河"和"中国"。

• 系统会为每个粒度的信息创建语义索引（嵌入），以便更准确地检索。

• 在检索时，系统会根据查询语句，从不同粒度的信息中寻找相关内容，并进行排序。

  
  

3️⃣ 两阶段模型训练：

• Cognitive Kernel 采用两阶段训练过程，以应对模型中心设计带来的挑战。

• 第一阶段：使用监督微调方法，训练模型具备基本问题解决能力和调用原子动作的能力。这就像训练一个学生掌握基本技能一样。

• 第二阶段：将第一阶段训练的模型在线部署，收集真实世界中的系统输出轨迹。然后，使用高质量的轨迹数据和用户反馈，进一步训练模型，增强其泛化能力。这就像让学生在实践中不断学习和提高。

  
  

4️⃣ Docker 化部署：

• 为了实现高效、安全的部署，Cognitive Kernel 被组织成多个独立的 Docker 容器。

• 每个容器负责不同的功能，例如：前端用户界面、后端计划执行、网页访问、数据库管理和推理模型服务。容器之间通过API进行通信，这保证了系统的高并行性、安全性和可靠性。

• 这种方式也更便于扩展和维护。

  
  

4. 应用与启示：不止于技术，更关乎未来

• 实时信息管理：

• 系统可以像人一样直接控制浏览器，与网页进行复杂的交互，例如在网站上查找信息、填写表单、购买商品等。

• 这比传统的搜索引擎更加灵活和强大，可以完成更多复杂的任务。

• 实验表明，Cognitive Kernel 在WebCanvas基准测试中表现出色，能够更有效地完成网页任务。

  
  

• 私人信息管理：

• 系统可以处理用户上传的本地文件，例如文档、表格等，并从中提取信息，回答用户的问题。

• 论文使用DOCBENCH基准测试进行评估，结果显示Cognitive Kernel 在处理各种类型的文件和问题时，都表现出了很强的能力。

  
  

• 长期记忆管理：

• Cognitive Kernel 可以记录用户与系统的交互历史，并从中提取有用的信息，实现个性化的服务。

• 在自定义的长期记忆测试集中，Cognitive Kernel 表现明显优于其他系统，在记忆回溯和避免覆盖方面表现更好。

  
  

这些应用场景仅仅是冰山一角。随着技术的不断发展，Cognitive Kernel 这样的通用智能体系统未来可能被应用于更多领域，例如：

• 自动化办公：自动处理邮件、会议安排、数据分析等任务。

• 智能家居：根据用户习惯和需求，自动控制家电设备。

• 智能客服：处理用户咨询，解决用户问题。

• 科研助手：帮助研究人员查找文献、整理数据、撰写报告。

  
  

不仅如此，Cognitive Kernel 的开源也为整个AI社区带来了巨大的价值。它可以作为研究人员的参考和基础，促进更多自主智能体系统的创新和发展。

5. 总结

这篇论文展示了构建通用自主Agent系统的一个有希望的方向。Cognitive Kernel 的“模型中心设计”理念，以及三大核心组件的巧妙结合，都令人眼前一亮。特别值得关注的是，论文强调了模型和系统设计的深度整合。仅仅依赖于强大的LLM是不够的，还需要针对具体任务和场景进行系统设计，并对模型进行专门的训练。

Cognitive Kernel 的意义不仅仅在于提供了一个可用的系统，更重要的是它为我们开启了对未来AI系统的一种新的思考方式。从“Copilot”到“Autopilot”的转变，不仅仅是技术上的进步，更是一种思维方式的转变，它意味着AI将从辅助工具转变为真正的智能助手，甚至可以独立完成复杂任务的自主智能体。

当然，Cognitive Kernel 仍然存在一些局限性，比如缺乏多模态感知能力、在自改进方面还依赖于用户或外部模型，系统鲁棒性也有待提高。但是，这正是科研的魅力所在，未来的研究将会不断克服这些挑战，让我们期待更加强大、更加智能的自主系统诞生