今天我们详细聊聊Agent的失败模式与评估方式。关于Agent的规划planning部分，强推上周的推文噢，很长很长~
Agent规划大揭秘！这才是真正的planning
评估的核心在于检测错误。一个 Agent 执行的任务越复杂，可能出现的错误点就越多。在Agent系统中，除了大模型的常见错误模式之外，Agent 还会因为规划、工具执行和效率问题而出现独特的错误。
要评估一个 Agent，需要识别它可能出现的错误模式，并衡量每种模式出现的频率。
规划错误
规划本身就很难，而且可能以多种方式出错。最常见的规划错误是工具使用错误。Agent 可能会生成一个包含以下一个或多个错误的计划：
使用了无效的工具
例如，它生成了一个包含 baidu_search 的计划，而 baidu_search 并不在可用的工具列表中。
工具有效，但参数无效
例如，它使用两个参数调用 lbs_to_kg，而这个函数只接受一个参数 lbs。
工具有效，但参数值不正确
例如，它使用一个参数 lbs 调用 lbs_to_kg，但是 lbs 的值本应是 120，它却用了 100。
另一种规划错误是目标达成失败：Agent 未能实现既定目标。这可能是因为计划本身就不能解决问题，或者虽然解决了问题，却没有遵循必要的约束条件。举个例子，如果你让 Agent 计划一次从上海到北京，预算为 5000 元的两周旅游。Agent 可能计划了一次从北京到广东的旅行，或者给你计划了一次预算远远超出 5000 元的两周旅游。
在 Agent 评估中，一个常常被忽视的约束是时间。在很多情况下，Agent 花费的时间不是关键，因为你可以把任务交给它，然后等它完成就行。但是，在很多情况下，Agent 的价值会随着时间的推移而降低。比如，你让 Agent 准备一份拨款申请，它却在截止日期之后才完成，那这个 Agent 就没什么用处了。
还有一个有趣的规划错误，是由反思错误导致的。Agent 确信自己已经完成了任务，但实际上并没有。比如，你让 Agent 将 50 人分配到 30 个酒店房间。Agent 可能只分配了 40 人，然后坚持认为任务已经完成。
为了评估 Agent 的规划错误，一种方法是创建一个规划数据集，每个示例是一个 (任务, 工具列表) 的元组。对于每个任务，使用 Agent 生成 K 个计划。计算以下指标：
- 对于给定任务，Agent 需要生成多少个计划才能得到一个有效的计划？
分析 Agent 的输出，找出规律。Agent 更容易在哪些类型的任务上失败？你是否对原因有任何假设？模型经常在哪些工具上犯错？某些工具可能对 Agent 来说更难使用。你可以通过更好的提示词、更多示例或微调来提高 Agent 使用困难工具的能力。如果这些方法都不奏效，你可能需要考虑用更容易使用的工具来代替。
工具错误
工具错误指的是，Agent 使用了正确的工具，但工具的输出结果是错误的。一种错误模式是工具直接给出了错误的输出。例如，一个图像描述工具给出了错误的描述，或者一个 SQL 查询生成器给出了错误的 SQL 查询。
如果 Agent 只生成高层次的计划，并且需要一个翻译模块来将每个计划的动作转化为可执行的命令，那么错误就可能发生在翻译环节。
工具错误是与具体工具相关的。每个工具都需要单独测试。请一定要打印出每个工具的调用及其输出，方便你检查和评估。如果有翻译模块，也要创建基准来评估它。
要发现缺失工具导致的错误，需要理解应该使用哪些工具。如果你的 Agent 经常在某个特定领域失败，那可能是因为它缺少该领域的工具。与该领域的人类专家合作，观察他们会使用哪些工具。
效率
一个 Agent 可能生成了有效的计划，并使用了正确的工具来完成任务，但它的效率可能很低。以下是你可能需要跟踪，以评估 Agent 效率的一些指标：
- 每个操作通常需要多长时间？是否有任何特别耗时或昂贵的操作？
你可以将这些指标与你的baseline进行比较，基线可以是另一个 Agent 或人。在将 AI Agent 与人进行比较时，请记住，人和 AI 的操作模式非常不同，因此，对于人来说高效的方式，对 AI 来说可能效率低下，反之亦然。例如，访问 100 个网页对于只能逐页访问的人类来说效率很低，但对于可以同时访问所有网页的 AI 来说却很简单。
粤ICP备14082021号
免费POC，
零成本试错
