我要投稿

LLM之后，Agent的未来是RL！

发布日期：2025-01-23 08:10:17 浏览次数： 2775

作者：探索AGI

微信搜一搜，关注“探索AGI”

今天给家人们聊一期播客总结，四十二章经最新一期播客请到了在Meta工作了七年的应用强化学习组负责人朱哲清Bill。作为斯坦福大学强化学习专业博士，现在创业做Agent的他，抛出了一个巨大的反共识观点：

"LLM只是一个翻译官，真正的Agent核心应该是RL。"

等等，这是什么意思？

在2024年，我们见证了GPT-4掀起的Agent热潮。Claude、GPTs、Copilot...几乎所有大公司都在用LLM构建Agent。

但Bill却说，这条路走偏了？

并且，他用自己的技术路线，只花了不到1万美金就训练出了一个能在电商领域超越GPT-4的Agent。

这背后到底有什么玄机？

当前Agent的痛点

要理解Bill的观点，我们先问自己一个问题：当前的Agent真的在"思考"吗？

播客里边给出了一个非常形象的类比：想象你在一个复杂的迷宫里。

如果是人类，会怎么做？

分析当前位置
尝试不同路径
记住死胡同
总结经验教训

但当前的LLM Agent呢？它就像一个只会背诵地图的人：

✓ 能说出每个路口的样子
✓ 能背诵所有可能的路径
× 但不会从错误中学习
× 更不会优化自己的策略

这就是为什么你会发现：

Agent常常重复同样的错误；遇到新情况就抓瞎；效率始终无法提升等等问题

平行宇宙思维

那RL是如何解决这个问题的？

这里有个有趣的概念：平行宇宙。

想象你在玩《王者荣耀》，每次决策都可以看到未来5分钟会发生什么，这边走会被抓，那边走能拿龙，支援上路能赢团战。

这就是RL的核心能力：

并行模拟多个未来
评估每个决策的收益
选择最优的行动路径

就像，AlphaGo能在没有人类棋谱的情况下，可以通过自我对弈达到超越人类的水平了；DeepSeek-R1最新的模型，没有PRM（过程奖励），没有MCTS（蒙特卡洛），Zero模型可以直接开始RL，训出来推理能力。

"翻译官"LLM

这是不是意味着LLM就没用了？

恰恰相反。

Bill提出了一个绝妙的比喻：LLM就像一个优秀的"翻译官"。

想象你是一个天才的围棋选手，但只会下棋，不会说话。你需要有人帮你理解对手的意图，帮你表达想法。

这就是LLM的完美定位：

输入端：把人类语言转换为RL可以理解的抽象状态
输出端：把RL的决策转换为人类可以理解的语言

最后

Bill预测，2025年会出现三个重要趋势：

专业领域的Agent会达到专业人士水平
训练成本会进一步降低
应用场景会不断扩大

但更重要的是，这个技术路线给了我们一个全新的视角：

也许，真正的AI智能体，应该像人类一样：

会在"平行宇宙"中规划
会从经验中学习
会不断优化决策

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-14

多轮 Agent 场景下，滴滴的 EAGLE-3 训推加速实践

2026-05-06

谁说 Mac 只能写代码？Google 官宣：M 芯片本地微调 Gemma 4 时代开启！

2026-04-20

用 Unsloth 微调 Embedding 模型，让你的 RAG 检索不再答非所问

2026-04-15

ComfyUI v0.19.0 更新：大量新节点、新模型、新修复与性能优化全面落地，工作流与训练能力再升级

2026-04-13

Agent 持续学习落地路径：先做 Traces，再做 Context，最后才微调模型 | Jinqiu Select

2026-03-23

养死四只龙虾的小白有感

2026-03-22

Mistral Forge 的真正意义：企业AI从“租用”走向“拥有”

2026-03-21

马斯克再次站台Kimi，扒掉了Cursor 500亿估值的底裤

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

MiniMax M2.7 炸场！自己训自己，8 项基准硬刚 GPT-5 和 Opus 4.6

2026-03-19

ComfyUI v0.19.0 更新：大量新节点、新模型、新修复与性能优化全面落地，工作流与训练能力再升级

2026-04-15

马斯克再次站台Kimi，扒掉了Cursor 500亿估值的底裤

2026-03-21

罕见！Meta、OpenAI、xAI联合分享了用生产环境提升LLM的最佳实践！

2026-03-03

养死四只龙虾的小白有感

2026-03-23

Mistral Forge 的真正意义：企业AI从“租用”走向“拥有”

2026-03-22

【淘宝直播数字人互动LLM】告别AI感：基于真人ASR数据的拟人化探索

2026-03-17

Agent 持续学习落地路径：先做 Traces，再做 Context，最后才微调模型 | Jinqiu Select

2026-04-13

用 Unsloth 微调 Embedding 模型，让你的 RAG 检索不再答非所问

2026-04-20

谁说 Mac 只能写代码？Google 官宣：M 芯片本地微调 Gemma 4 时代开启！

2026-05-06

大家都在问

DeepSeek 发布新论文，提出全新 MHC 架构，有何创新与应用前景？

2026-01-02

LoAR做Fine-Tuning微调原理到底是什么？

2025-11-19

如何将 AI 代码采纳率从30%提升到80%？

2025-09-25

大模型微调，为什么99%的企业都不应该碰这个坑？

2025-06-20

万不得已，不要对 LLM 进行微调？

2025-06-17

可以将任何符合OpenAPI规范的接口转 MCP Server吗？

2025-05-21

OpenAI发布GPT-4.1系列模型，对行业最大吸引力是什么？

2025-05-17

私有部署大模型需要多少显存？

2025-05-14

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw