RAG创始人关于RAG Agent的10个思考(下)

推荐语

RAG Agent在实践中的深度思考，解锁AI应用的新维度。

核心内容：
1. 工程师如何通过自动化减少基础工作量
2. AI集成在工作流中以提高使用率
3. 用户“惊叹”体验与AI应用粘性的关系
4. 可观测性对于AI系统的重要性

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

6.工程师在“无聊”的事情上花费大量时间：

工程师本应专注于构建流程、提升精度、扩展应用等创造业务价值的工作，但现实中却常常耗费时间在数据分块 (chunking) 策略、文本清洗、构建连接器、配置向量数据库、调整提示、管理基础设施等相对基础且耗时的工作上。应设法将这些工作自动化或平台化。

实践分享

• 有很多已存在的框架和工具可以帮助我们自动化这些工作。比如，使用 LangChain 等开源框架来处理数据分块和文本清洗。
• 使用Promptflow、LangSmith、LangGraph Studio等工具来进行大模型响应的跟踪与调试。
• 像Promptflow这类框架还可以用来进行模型效果的评估。

巧用已有的工具和框架可以大大减少工程师的常规工作量，让更多的时间和精力投入到更有价值的工作中。

7.让 AI 易于消费：

即使 AI 系统已部署到生产环境，如果没有被用户方便地使用，也无法产生价值。很多时候系统使用率为零。关键在于将 AI 集成到用户现有的工作流中。企业数据 + AI + 集成 = 成功。

实践分享

在没有找到一个惊艳的AI落地案例的之前，先考虑将AI融入到现有企业的工作流程中。或者只改进企业中的某一个小部分，但是需要确保它能被尽可能的用到。我们曾经有一个团队开发一个AI Sales bot，嵌入已有的企业网站，以网站的网页内容为知识库，回答浏览网站用户的所有问题。同时根据和用户对话的过程，判断时机推送相关展会的信息。促成最终的潜在销售可能。这类的AI功能容易被用户接受，且能在短时间内看到效果。

8.让你的用户“惊叹”(Wow)：

要让 AI 应用产生粘性，需要尽快让用户体验到“惊艳”时刻。例如，帮助用户找到一个他们自己都不知道存在的、埋藏多年的重要文档并回答了关键问题。用户体验设计应围绕创造这种早期价值。

实践分享

还是上面的AI Sales bot的客户，在给他们的Boss演示Bot如何使用销售话术的过程中，他们惊讶的发现bot的回复中列举了一个数字，购买他们的某个产品能够节约20%的成本。而这个数字的依据是什么呢？当基于RAG的bot将答案以及关联文档一并返回的时候，他们看到了一个多年前的文档，这么好的一个销售点居然被他们忽略了。这个文档是一个多年前的客户反馈，里面提到过这个产品的使用案例和节约成本的数字。

9. 可观测性比准确率更重要：

达到 100% 准确率几乎不可能，90-95% 也许可以。但企业更关心的是那无法避免的 5-10% 的错误会带来什么影响以及如何处理。因此，可观测性，包括理解系统为何给出某个答案、提供溯源依据、建立审计追踪等，比单纯追求更高的准确率更重要，尤其是在受监管行业。

实践分享

• 不用追求100%的准确率，基于LLM的AI系统，用户目前对准确率都会有一个合理的预期，也不会将这类应用应用到对准确立很高的业务上。
• 使用Promptflow或者LangSmith这类Tracking 工具来追踪模型的输入和输出，帮助我们理解模型的行为。返回结果一定带有参考引用的文档信息，有理有据的给出答案，用户才能更加信任AI生成的内容。

10.要有雄心壮志：

很多 AI 项目失败往往不是因为目标太高，而是因为目标太低。不要满足于解决“401k 供应商是谁”这类简单问题，要敢于挑战能带来真正业务转型的难题。

实践分享

让你的AI有一个更高的远景目标，而不只是实现的那么一点点功能。

• 基于网站的AI Sales Bot，你可以理解他的主要功能和一个问答机器人几乎一样。但是如果我们定位这是一个数字员工，他能够和普通员工一样，目标是帮助销售团队提升业绩，帮助客户更好的了解产品。那么对于实现这样的目标，我们就有更多的想象空间了。例如：
• 分析客户的角色，从而主动引导客户的需求。
• 了解客户的需求，主动推送相关的产品信息。
• 基于对话内容分析用户的情绪，主动推送合适的促销活动。
• 给学校开发的AI私人教师，如果你带着为了构建一个“教育平权”的理念，来构建一个可以7*24小时在线的，专业教师，永远都会不厌其烦的解释给你听的AI教师。你会发现要实现这个目标，你要做的事情会比你想象的多很多。例如：
• 你需要考虑如何让AI教师能够理解学生的情绪，如何让他能够和学生进行更自然的对话。
• 你需要考虑如何让AI教师能够根据学生的学习进度和兴趣来调整教学内容。
• 你需要考虑如何让AI教师能够和其他教师进行协作，例如共享教学资源、交流教学经验等。
• 你需要考虑如何让AI教师能够和家长进行沟通，例如定期发送学生的学习报告、提供学习建议等。

总结与思考

麦肯锡最新的一项研究显示，AI企业应用能够带来4.4万亿美元的全球经济附加值。而只有1/4的企业从中获益。这也体现了AI应用现阶段的巨大不确定性，虽然个人消费应用能够带来很多有趣的应用，而且也有企业已经获得利润，但是企业应用由于其严谨性和复杂性，仍然处于探索阶段。