2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

你需要的不是智能体,而是工作流

发布日期:2024-08-21 21:09:07 浏览次数: 2486
作者:赛博禅心

微信搜一搜,关注“赛博禅心”

现在 AI 智能体(AI Agent)的概念很火,似乎智能体是用 AI 解决问题的银弹,有了智能体就可以解决很多问题。但也有很多人有不同意见,认为智能体不过是噱头,并没有看到靠谱的应用场景。

一个被提及很多的是吴恩达老师写的多智能体翻译的例子,简单来说就是用三个智能体:一个直译智能体、一个审查智能体、一个意译润色智能体,确实可以大幅提升翻译质量。但并非一定要三个智能体才能提升翻译质量,我以前也提出过基于 Prompt 的翻译方法,让 LLM 在翻译时,使用直译 + 反思 + 意译三个步骤输出,也可以得到高质量的翻译结果。

本质上,使用大语言模型(LLM)来解决问题,思维链(COT, Chain of Thought)是一种有效提升生成质量的方法,也就是说,之所以翻译质量能提升,不是因为有了智能体,而是因为有了思维链。至于思维链的每个环节是用一个独立的智能体,还是输出的一个步骤,并没有太本质的差别。

其实大部分 AI 应用场景都类似:要用 AI 解决问题,核心不在于智能体,而在于设计出一个适合 AI 的工作流。

那么怎么才能设计一个适合 AI 的工作流呢?我认为有几个因素需要考虑:


一、不要局限于人类现有方案

有时候我们过于将 AI 拟人化,会不自觉的用人类解决问题的方式来套用在 AI 上,有时候确实有效,但很多时候并不一定是最优解。就像专业的翻译员,他们并不需要直译反思意译三个步骤,他们可以一步到位,直接输出高质量的翻译结果,所以最开始让 AI 翻译,Prompt 都是直接一步输出翻译结果,而不是分步骤输出,结果翻译出来的比较生硬。而当我们发现思维链是大语言模型的一种有效提升方法后,就可以设计出更适合 AI 的工作流,分成几步来解决问题。

包括我看到一些智能体项目,尝试模拟人类软件开发的分工,使用项目经理、产品经理、架构师、程序员、测试等等智能体角色去尝试解决复杂的软件项目,同样也是一个过于拟人化而不一定适合 AI 解决问题的思路,所以也只能出现在论文中,而无法在实际项目中落地。相反像 GitHub Copilot 这样辅助生成代码的工具倒是真正适合当前 AI 编程的工作流,能实实在在提升开发效率。


二、不必完全依赖 AI 做决策

去年有一个超级火爆的项目叫 AutoGPT,就是你输入一个任务,GPT-4 会将任务分解,制定计划,调用外部工具,比如 Google 搜索,甚至执行代码,最终完成任务。这也算是 AI 智能体的先驱项目之一,但现在已经很少有人提及了,因为以现在 AI 的智能程度,还不足以对开放性的任务做出靠谱的决策,最终除了帮 OpenAI 卖了大量的 Token 外,并没有解决什么实际问题。所以现在 AI 应用的主流是把 AI 当“副驾驶(Copilot)”,只是让 AI 辅助人类完成任务,主要还是人在做决策。

另外就是自己设计工作流,让 AI 在工作流中完成一部分工作,并不过于依赖 AI 做决策,或者只需要做简单的决策。比如说商家借助 AI 处理差评的工作流:

  1. 程序抓取评论信息

  2. AI 分析每一条评论的情感,筛选出差评

  3. AI 生成回复(可能需要人工审核)

这是一个典型的设计好流程的适合 AI 的工作流,AI 只需要做简单的情感分析和回复生成,而不需要做复杂的决策,这样的工作流可以很好的提升效率,并且结果也相对靠谱。


三、可以结合多种 AI或工具

去年起 AI 大热,一个很重要的原因是大语言模型的出现,这些模型一方面确实能力强大,有一定的通用性,有简单的推理能力,另一方面使用也简单,无论是通过聊天机器人,还是通过 API 调用,都能很方便的使用。即使像我这样不是人工智能专业的人,也能很容易的使用这些模型。而在以前,人工智能相对来说是个高门槛的领域,需要筛选数据、需要训练,还需要调参,对于非专业人士来说是很难使用的。

但这也导致一个问题,就是很多解决方案过于依赖大语言模型,而不知道或者不会使用其他领域的 AI 模型,但当你能够根据任务,将不同领域的 AI 模型或者工具结合起来,设计出合适的工作流,就能够得到更好的解决方案


四、回归问题本质,AI 只是锤子

上面提的几点都是容易犯的一些错误,之所以容易犯这些错误,恰恰是因为我们有时候过于关注一些流行的概念或技术,而忽略了要解决的根本问题是什么,将 AI 变成了目的而不是手段。如果你有了解马斯克的第一性原理思维,其强调的就是回归事物最基本的条件,把其解构成各种要素进行分析,从而找到实现目标最优路径的方法。

而运用第一性原理通常有三个步骤:

  • 第 1 步:定义清楚你要解决的根本问题。

  • 第 2 步:拆解问题。

  • 第 3 步:从头开始创建解决方案。

而这也个思路也适用于我们去借助 AI 解决问题,设计出适合 AI 的工作流。

举两个设计合适 AI 工作流解决问题的例子


一个例子是 PDF 转 Markdown

做过 PDF 翻译的有经验,要得到好的翻译结果,将 PDF 的内容整理成 Markdown,再让大语言翻译,效果是相当好的。但这个不好做,因为 PDF 是用来打印的格式,并不是结构化的数据,很难直接提取成 Markdown,再加上各种图表、表格等,更是复杂。

最近看到一个项目叫 PDFGPT,它就做的很巧秒,本质上是基于 GPT-4o 和 PyMuPDF 设计了一个工作流:

  1. 用一个 PDF 操作库 PyMuPDF 检测 PDF 中的图片、图表、表格等,提取成图片并保存

  2. 每一页 PDF 生成一张图片,将图片、图表、表格等位置用红框标记出来,并附上对应的图片名称

  3. 借助 GPT-4o 的视觉能力,解析标注后的图片,生成对应的 Markdown

如果你纯粹依赖大语言模型,恐怕无法完成这样的任务,一方面受限于上下文窗口的长度限制,一次无法处理多页 PDF,另一方面对于图片、图表、表格等内容无法嵌入 Markdown 中。如果结合 PyMuPDF 这样的库和一个简单的工作流,就可以方便的实现 PDF 转 Markdown,生成的结果也挺不错。


另一个例子是漫画的翻译

有很多那种气泡文字的漫画,如果要翻译成其他语言,就需要将气泡文字提取出来,翻译后再放回去。漫画翻译的难点在于:

  1. 因为漫画的气泡文字位置不固定,有时候还会有重叠,不好提取;

  2. 翻译的时候,如果只是把提取出来的文字按字面翻译,但不知道当前画面的内容,翻译的结果可能会不通顺;

  3. 翻译后要对图片进行处理,抹掉原来的文字,将翻译后的文字放回到原来的位置。

如果人工做会怎么做?可能是读懂漫画,翻译,然后用 Photoshop 这个样的工具抹掉原来的文字,再放上翻译后的文字。可以想象这样的工作量还是不小的。

有一个开源项目 comic-translate,就做的很好,它也是设计了一个适合漫画翻译的工作流:

  1. 用一个专业模型做气泡检测,找出文字气泡的位置

  2. 用 OCR 做气泡内文字的提取

  3. 用一个专业模型移除气泡内的文字

  4. 借助 GPT-4o 的视觉能力,根据漫画内容,翻译气泡内的文字

  5. 用程序将翻译后的文字绘制到原来的气泡位置

如果不考虑翻译质量的话,这几乎是一个全自动的工作流,效率相当高,成本也很低,最贵的部分是 GPT-4o 的 API,一页也才 $0.02 左右。就算加上人工审核对翻译结果和图片生成结果的处理,也是能比以前的人工翻译效率高很多。

从上面的例子可以看出,真正要用好 AI,让 AI 发挥最大效能,核心是还是要基于你要解决的问题,重新设计一个适合 AI 的工作流,让 AI 在工作流中完成它最擅长的工作,至于是不是智能体,是不是大语言模型,是不是 AI 帮你决策,都不是最重要的。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅