聊聊上海人工智能实验室开源的轻量级agent框架——lagent

概述

官方仓库：lagent^[1]。

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

特性

• 流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。
• 接口统一，设计全面升级，提升拓展性，包括
• Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；
• Action: 简单的继承和装饰，即可打造自己个人的工具集，不论 InternLM 还是 GPT 均可适配；
• Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
• 文档全面升级，API 文档全覆盖。

Agent类型

目前，官方的提供了四个agent。分别是：

• autogpt.py
• internlm2_agent.py
• react.py
• rewoo.py

其功能的用处，从其prompt即可识别出来。以internlm2_agent.py的prompt为例：

API_PREFIX = (
    "This is the subfunction for tool '{tool_name}', you can use this tool. "
    'The description of this function is: \n{description}')

META_CN = ('当开启工具以及代码时，根据需求选择合适的工具进行调用')

INTERPRETER_CN = ('你现在已经能够在一个有状态的 Jupyter 笔记本环境中运行 Python 代码。'
                  '当你向 python 发送含有 Python 代码的消息时，它将在该环境中执行。'
                  '这个工具适用于多种场景，如数据分析或处理（包括数据操作、统计分析、图表绘制），'
                  '复杂的计算问题（解决数学和物理难题），编程示例（理解编程概念或特性），'
                  '文本处理和分析（比如文本解析和自然语言处理），'
                  '机器学习和数据科学（用于展示模型训练和数据可视化），'
                  '以及文件操作和数据导入（处理CSV、JSON等格式的文件）。')

PLUGIN_CN = ('你可以使用如下工具：'
             '\n{prompt}\n'
             '如果你已经获得足够信息，请直接给出答案. 避免不必要的工具调用! '
             '同时注意你可以使用的工具，不要随意捏造！')

该agent主要用于数据分析，并且提供了tools检索arxiv。

internlm2_agent

官方的示例是提供了一个标准的agent实现，我个人觉得是蛮标准的，尤其是action与prompt的设计。

部署起来的界面如下：

该示例demo来自官方代码的examples/internlm2_agent_web_demo.py。

ArxivSearch在源码的actions文件中定义并实现了，其对应是agent中的action。参考该源码，我们可以实现自己的agent action。

ReAct

官方原先是放了一个react_web_demo.py，但现在删了；不过我额外找了个基于Llama3微调并实现了React agent的demo，见：llama3 react^[2]。

根据提交记录，重新找到了该react代码，主要是我想借鉴下原先的方式，代码地址：react_webdemo^[3]。感兴趣可以玩起来。

分析下ReAct代码：prompt的设计还是比较简略，对于自己的业务的话还是需要改造下，尤其是对于工具的调用。

Agent设计

lagent是一个轻量级的agent框架，其实现依靠与三个主要的抽象：

1. action_executor：action执行器，用于执行tools
2. protocol：prompt的设计与llm response的解析
3. BaseModel：LLM 模型

而集成自BaseAgent的各个Agent都会实现如上三个抽象类，即可完成自己的agent。在agent中实现流式调用输出，甚至是批量推理都是可以的，而且也有参考的agent实现。

官方代码中的四个agent还是很有参考价值的。整个的设计简洁又高效，相比较别的agent框架，的确是要更轻量级，非常方便入门学习以及了解LLM的很多基础知识。

总结

lagent是一个轻量级很方便学习入门agent范式的框架，我自己也花了一天的时间部署试玩调试，感觉还是蛮不错的一个框架。当然对于要完成实际业务的agent，尤其是需要切合我们自己的业务的话，还是需要重新设计agent，但官方的实现是很好的参考，很方便借鉴的实现。