很多 Agent 项目在 Demo 阶段都很顺。

它能读文档，能调工具，能生成报告，甚至能把一个复杂任务拆成几步执行。演示现场只要样本足够干净、流程足够短、权限足够宽，几分钟就能让人相信“这个方向可以做”。

但真正的问题，通常出现在 Demo 之后。

一旦进入真实业务，样本不再干净，用户问题不再标准，知识版本开始冲突，工具调用有权限边界，线上结果需要被审计，错误动作要能回滚，业务方还会追问：谁来负责效果，谁来持续优化，谁来判断它是不是越跑越好？

这时企业会发现：Demo 验证的是“Agent 能不能跑通”，生产级验证的是“Agent 能不能承担责任”。

图 1：Demo Agent 与生产级Agent 的差距，不在界面，而在责任边界、评估、权限和运营机制

在 AiDD 上海站的多场分享里，这个变化已经很清楚。小红书资深工程师林能源在《从跑分到护栏：AI Agent 可观测和质量保障体系》中指出，Agent 落地的瓶颈正在从“能不能跑”转向“能不能评估”。支付宝技术部行业 Agent 工程负责人高梦飞在《让智能体可观察、可评估、可进化》中也强调，行业智能体真正关注的不是系统有没有响应，而是能不能理解真实意图，并把事情办成。

闭门会《LLM应用部署与运营：从试点到生产的完整路径》也把这个问题说得更直白：从“能演示”到“能运营”，中间要补的是上线决策、灰度策略、回滚机制、成本管理、可观测性、权限隔离、审计日志和团队协同。

所以，Agent 从 Demo 到生产级，中间差的不是一个更强模型，而是一整套工程体系。

▍第一层差距：从“提示词可用”到“业务意图清楚”

Demo 阶段最容易被忽略的，是业务意图。

很多 Agent 项目一开始就围绕能力展开：模型能总结文档，于是做知识问答；模型能写代码，于是做开发助手；模型能调工具，于是做流程自动化。能力本身没有错，但如果没有对应到具体业务现场，Agent 很容易变成“看起来会做很多事，但不知道到底该对谁负责”的系统。

生产级 Agent 的第一步，不是写提示词，而是把业务意图拆成可验证的问题：谁在什么场景里被什么任务卡住？现在靠什么方式解决？Agent 介入后，哪个指标应该变化？哪些场景必须覆盖，哪些边界必须拒绝，哪些动作必须转人工？

这也是 FDE 工作坊反复强调的起点。FDE 不是等需求写完再开发，而是进入现场，把模糊需求翻译成可运行、可验证、可迭代的AI 能力。对 Agent 来说，业务意图不清楚，后面接再多工具都只是放大不确定性。

图 2：生产级 Agent 的起点，是把模糊意图转成场景、样本、指标和边界

一个能演示的 Agent，可以靠几条精心准备的问题跑通。一个能生产使用的 Agent，则必须知道：什么样的输入代表真实任务，什么样的输出算完成任务，什么情况必须停止任务。

这一步不扎实，Agent 的每一次“自动执行”都可能是在替组织自动制造偏差。

▍第二层差距：从“一次回答”到“全过程可追踪”

传统应用的很多问题，可以通过接口、日志和状态码定位。Agent不一样。

它不是一次函数调用，而是一条决策链：理解目标，拆解任务，检索知识，选择工具，执行动作，读取返回，修正计划，生成结果。任何一步偏了，最后都可能得到一个看似完整、但实际错误的答案。

Demo 阶段通常只看最终输出：报告写出来了吗？代码生成了吗？流程跑完了吗？生产级系统必须多问几层：它为什么这样拆任务？用了哪些知识？调了哪个工具？工具返回是否被正确理解？失败后是否重试？重试有没有越权？最终结果是否能追溯到证据？

高梦飞分享中提到，智能体可观测目标已经从系统状态升维到意图执行质量。也就是说，企业不能只看服务是否可用、延迟是否正常，还要看 Agent 是否沿着正确的业务路径完成任务。

图 3：生产级 Agent 需要记录语义节点，而不只是记录系统调用

这就是 Agent 可观测性的核心变化。它不只是技术团队排障的工具，也是业务方、产品、测试、安全和运维共享的事实来源。

没有过程可观测，企业就只能在结果出错后猜测原因；有了过程可观测，团队才能把错误定位到具体环节：是意图理解错了，知识检索错了，工具调用错了，还是业务规则本身没有写清楚。

▍第三层差距：从“人工试用”到“持续评估”

很多 Agent 项目在 Demo 后进入一个危险阶段：大家觉得“体验还不错”，但没有人能说清楚它到底有多可靠。

林能源在分享中引用的行业数据很刺眼：生产 Agent 仍大量依赖人工评估，不少团队没有系统性评估；而使用评估工具和治理框架的团队，进入生产的概率显著更高。这个结论对企业很关键：Agent 能否落地，分水岭不是模型参数，而是评估能力。

生产级 Agent 至少需要三类评估。

第一类是结果评估：最终有没有答对、做对、交付对。第二类是节点评估：每一步是否符合业务规则。第三类是轨迹评估：Agent 走的路径是否合理，是否绕远，是否误用工具，是否在关键步骤跳过了人工确认。

图 4：结果、节点、轨迹三层评估，决定 Agent 能否从主观试用走向生产验证

更重要的是，评估不能只发生在上线前。闭门会中提到的“线上表现监控、用户反馈整合、模型与应用迭代”，本质上就是把评估变成运行期机制：离线评估做准入，线上评估看真实表现，Bad Case回流成样本，Good Case 沉淀成基准。

这时，Agent 项目的交付物也会发生变化。它不再只是一个应用入口，还要包括评估集、指标定义、灰度策略、质量门禁、线上监控和回流机制。

没有这些，Agent 就只能靠“相信它”；有了这些，企业才有机会持续判断它。

▍第四层差距：从“能调工具”到“动作边界可控”

Agent 的价值来自行动能力，也正因为有行动能力，它比普通问答系统更危险。

一个只回答问题的模型，错误通常停留在内容层。一个能调用工具的 Agent，可能读取客户数据、提交代码、创建工单、发起审批、触发通知、修改配置。只要动作进入真实系统，权限、审计、审批、回滚就不再是上线前的附加项，而是设计第一天就要出现的工程条件。

Demo 阶段常常为了顺畅，把权限放得很宽，把异常路径隐藏起来。生产级系统必须反过来：默认最小权限，高风险动作需要人工确认，敏感数据要脱敏，关键操作要审计，失败路径要能暂停和回滚。

图 5：工具调用进入真实系统后，权限、审批、审计和回滚必须前置

这不是安全部门给项目“加限制”，而是让 Agent 能进入企业系统的前提。

如果一个 Agent 只能在沙箱里全权限运行，它仍然是 Demo。如果它能在真实权限边界内完成任务，能解释每一次动作，能在低置信度时停下来，能在错误发生后回滚，它才开始具备生产级系统的基本形态。

▍第五层差距：从“上线发布”到“灰度、回滚和成本管理”

传统软件上线后，团队也会看监控、处理告警、做版本管理。但 Agent 系统的运行变量更多：模型版本会变，提示词会变，知识库会变，工具接口会变，用户提问方式会变，成本结构也会随着调用量变化。

这意味着 Agent 不能只靠一次上线发布。

生产级 Agent 需要灰度。新能力先进入小范围场景，先面对有限用户和有限权限。它需要回滚。当某个模型版本、工具策略或知识更新带来质量下降时，系统不能只靠人工紧急补救。它还需要成本观测：一次任务消耗多少模型调用、检索、工具执行和人工复核成本，是否值得继续扩大。

图 6：Agent 上线不是终点，还需要灰度、回滚、成本和稳定性管理

“成本爆炸、准确率下降、合规风险”是从试点到生产的常见失手点。很多 Agent 项目不是因为 Demo 不好看而失败，而是因为上线后没人能解释成本为什么涨、质量为什么波动、风险为什么扩大。

所以，生产级 Agent 需要把发布机制做得更像一套运营系统：版本有记录，指标有基线，灰度有范围，回滚有路径，成本有阈值，异常有负责人。

▍第六层差距：从“项目交付”到“持续运营能力”

Agent 项目真正难的地方，是它上线后还会继续变化。

用户会提出新的问题，业务规则会更新，知识库会过期，Bad Case 会不断出现，模型能力也会快速迭代。如果团队把 Agent 当成一次性项目，交付后很快会遇到知识失真、规则漂移、用户不信任和效果不可解释。

FDE 工作坊把生产级智能体拆成四个阶段：场景探索与 PoC、迭代交付与用户试用、持续优化与可配置化、自主运营与持续监控。这个拆法提醒企业，PoC 只是第一阶段，上线也不是终点。真正的目标，是让业务侧能够持续使用、持续反馈、持续调校。

图 7：生产级 Agent 要从 PoC 走向自主运营，关键是反馈、知识、规则和版本持续回流

高梦飞分享中的“可观测不是终点，而是驱动智能体走向自主进化的燃料”，也在讲同一件事。可观测的最终目的，不只是发现问题，而是让问题进入修复链路；评估的最终目的，也不只是打分，而是让 Good Case 和 Bad Case 变成下一版系统的训练材料、规则材料和产品材料。

到这里，Agent 才不只是一个“功能”，而是一项可运营能力。

▍第七层差距：从“技术团队负责”到“多角色共同承担”

生产级 Agent 很少是单个技术团队能独自完成的。

业务方要定义目标、提供样本、判断结果；工程团队要实现系统、连接工具、处理性能和稳定性；数据和知识团队要保证内容质量、版本和权限；安全与运维团队要建立审计、告警、回滚和应急机制；产品和运营团队还要持续观察使用效果。

这也是 FDE 角色在企业 AI 项目中变得重要的原因。

FDE 不是“多会一点 AI 工具”的工程师，而是把业务现场、Agent工程、评估反馈、权限风险和持续运营接在一起的交付接口。它要帮助各方回答同一个问题：这个 Agent 到底能不能在真实组织里长期承担任务？

图 8：FDE 连接业务、工程、数据、安全与运营，把 Agent 项目组织成可交付系统

如果没有这样的接口，Agent 项目很容易变成各说各话：业务方说效果不稳定，技术方说模型已经接好，安全方说权限不能开，运维方说没人负责线上指标，最后系统卡在 Demo 和生产之间。

有了清晰的协作接口，企业才能把 Agent 从“一个能演示的应用”推进到“一个有人定义、有人验证、有人治理、有人运营的系统”。

▍结语：生产级 Agent，本质上是一种组织能力

Agent 从 Demo 到生产级，中间差的不是一个神奇功能。

它差的是业务意图能否被定义，执行过程能否被看见，结果质量能否被持续评估，工具权限能否被约束，发布运行能否被灰度和回滚，知识和经验能否不断回流，以及组织里是否有人把这些机制串起来。

所以，生产级 Agent 不是“更复杂的 Demo”，而是一个新的工程对象。它既有模型能力，也有业务边界；既有工具调用，也有权限审计；既有自动化执行，也有人工接管；既有上线发布，也有持续运营。

企业接下来真正要补的，不只是更多 Agent，而是让 Agent 可靠进入真实流程的工程体系。

这么好的内容，你不转一下吗

生产级 Agent 的故事，上海站只是开篇。

当企业从“试一试智能体”进入“把智能体放进真实业务”，更需要讨论的就不只是模型和工具，而是评估、可观测、权限、运营和组织级交付能力。

2026 年 AiDD 北京站，将继续关注 AI 研发、Agent 工程化、企业智能体和组织级落地。FDE 深度工作坊也会把这些问题带到更具体的实操场景里：如何识别真实场景，如何设计 PoC，如何搭建知识库和智能体，如何建立评估与反馈闭环，并把 AI 项目推向真实使用。

北京，我们继续聊。