字节新开源的智能体M3-Agent：把多模态数据也转化成记忆，包括文本、音频、图片、视频数据

推荐语

字节跳动Seed团队最新开源的M3-Agent，让AI拥有了像人类一样的多模态记忆能力，彻底告别"金鱼脑"时代。

核心内容：
1. M3-Agent如何解决传统AI的"健忘症"问题
2. 创新的情节记忆与语义记忆双系统架构
3. 基于实体中心的多模态图谱记忆组织方式

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

朋友们，想象一下这样的场景：一个机器人，不只是按照你预设的程序执行任务，它能像个活生生的人一样，通过摄像头和麦克风观察周围的世界，把这些感官信息变成自己的“记忆”，然后像侦探一样，根据这些记忆进行推理，最终解决你提出的复杂问题。

这听起来是不是像《西部世界》里的情节？别急，科幻正在照进现实。最近，字节跳动 Seed 团队就推出了这样一个颠覆性的框架——M3-Agent。它不仅仅是一个 AI 模型，更是一个具备长时记忆和多模态推理能力的智能体。它背后的强大引擎，是一个叫做verl的强化学习训练库。今天，我们就来揭开 M3-Agent 的神秘面纱，看看它究竟是如何炼成“钢铁侠”大脑的。

第一幕：记忆的挑战，AI 的“健忘症”

在 M3-Agent 出现之前，大多数 AI 都像个“金鱼脑”。它们处理信息的能力很强，但记忆力却很短。尤其是面对长视频这样复杂又持续的信息流时，它们通常只能记住最近几秒钟发生的事情，前面发生过的关键细节，往往转眼就忘。

举个例子，你让一个传统的 AI 观看一段一个小时的做饭视频，然后问它：“刚才那个戴着蓝色手套的人，把什么东西放进了第二个碗里？”它很可能一脸懵，因为这个动作发生在视频的前半段，早就不在它的记忆缓存里了。这种“短期记忆”的局限性，严重限制了 AI 在现实世界中处理复杂任务的能力。

M3-Agent 的使命，就是治愈 AI 的这种“健忘症”。它要做的，是让 AI 像我们一样，能够建立和更新长期记忆，并且能够根据这些记忆进行推理。它像一个初生的婴儿，通过“看”视频（视觉）和“听”声音（听觉），不断地学习和积累经验。

那么，它把这些经验储存在哪里呢？

第二幕：记忆的重构：从杂乱信息到“知识图谱”

人类的记忆不是一盘散沙。我们会把具体的情节（比如“我今天早上吃了一个苹果”）和抽象的知识（比如“苹果是一种水果”）分开存储。M3-Agent 也是如此，它将感官输入转化为两种不同类型的记忆：

• 情节记忆（Episodic Memory）：这就像是你的日记本，记录了具体发生过的事件。比如，视频里“一个机器人拿起了一个蓝色的杯子”。这些记忆充满了具体的细节，是构成历史的关键元素。
• 语义记忆（Semantic Memory）：这更像是一本百科全书，通过归纳和抽象，形成了对世界的普遍认知。比如，通过无数次看到“杯子”，它总结出“杯子是用来喝水的”。这些是让它理解世界运行规则的通用知识。

最厉害的是，这些记忆不是简单地堆砌在一起，而是被组织成一个以实体为中心的多模态图谱。这个图谱就像一个复杂的思维导图，把视频里出现的每一个“实体”（比如人、杯子、桌子）都作为中心节点，然后把与这个实体相关的所有情节记忆和语义记忆都连接起来。

通过这种方式，M3-Agent 对环境的理解变得更有深度和一致性。当它需要回答一个问题时，它不再是漫无目的地搜索，而是在这个结构化的知识网络中，快速找到最相关的记忆片段。

第三幕：大脑的运转：感知与控制的双轨制

M3-Agent 的工作机制可以概括为两个相互协作的模块：记忆模块（Memorization）和控制模块（Control）。你可以把它们想象成人类大脑里的两个主要职能部门。

1. 记忆模块：AI 的“大脑皮层”，负责知识的积累

这个模块就像一个不知疲倦的记录员，它持续不断地接收来自视频和音频的原始数据流，并实时地把它们转化为可以被理解和存储的记忆。

具体来说，这个过程分了好几步：

• 视频剪辑：为了不让模型“消化不良”，它会把长视频切割成一个个 30 秒左右的小片段，分段处理。
• 中间信息提炼：它会利用一些工具，比如人脸识别、说话人识别，从视频里提取出一些关键的中间信息，为构建记忆图谱提供“原料”。
• 记忆图谱生成：然后，一个名为M3-Agent-Memorization的专门模型登场，它会把这些碎片化的信息和视频片段整合起来，生成我们前面提到的结构化的记忆图谱。

这个过程就像把一堆杂乱无章的拼图块，按照一定的逻辑，拼接成一幅完整的画卷。每当有新的信息进来，它就会实时地更新和完善这幅画。

2. 控制模块：AI 的“前额叶”，负责决策和推理

当人类想要完成一个任务时，我们会先想一想，然后去寻找相关的记忆，最后再制定行动计划。M3-Agent 的控制模块，正是模仿了这一过程。

当你给它一个指令（比如“帮我找到早上放在桌上的蓝色盒子”），控制模块就会启动自主的多轮迭代推理。它会像一个逻辑缜密的侦探一样，进行一系列的“思考”：

• 理解任务：首先，它会分析你的指令，确定任务目标是“找到蓝色盒子”。
• 记忆检索：接着，它会从庞大的记忆图谱中，检索所有与“蓝色盒子”、“桌子”、“早上”等关键词相关的情节记忆和语义记忆。
• 推理决策：最后，它将你的指令、检索到的历史记忆以及当前环境的信息结合起来，进行反复的逻辑推理。它可能会先找到“早上”的记忆片段，然后在这段记忆中寻找“蓝色盒子”的踪迹，最终定位到它具体的位置，并给出执行方案。

这种“思考-检索-推理”的循环，让 M3-Agent 能够处理那些需要追溯历史、整合多方信息的复杂问题，这正是传统 AI 难以企及的能力。

第四幕：硬核对决：M3-Bench 的诞生

为了证明 M3-Agent 的强大，研发团队还专门设计了一个新的“考试”——M3-Bench。这是一个专门为长视频问答任务量身定制的基准，用来评估多模态智能体的长时记忆和基于记忆的推理能力。

这个“考卷”分成了两套：

• M3-Bench-robot：这套考卷充满了真实的机器人第一视角视频，它要考察 M3-Agent 在机器人工作场景中的实际能力，比如能否记住某个物品被放在了哪里，能否理解复杂的指令。
• M3-Bench-web：这套考卷更像是一个综合性的大考，包含了来自网络的各种视频，场景更多样化，旨在测试 M3-Agent 在更广泛、更复杂的环境下的泛化能力。

在这些考试中，M3-Agent 的表现令人惊叹。它在 M3-Bench 和另一个长视频基准 VideoMME-long 上的表现，都远远超过了目前最顶尖的基线模型（包括 Gemini-1.5-pro 和 GPT-4o）。这就像一个学霸在考试中轻松碾压了其他所有同学，它的准确率分别高出 8.2%、7.7%和 5.3%。这些实打实的数据，证明了 M3-Agent 在长视频处理、长期记忆构建和复杂推理方面的领先地位。

第五幕：幕后英雄：verl，强化学习的“高效引擎”

M3-Agent 能有如此非凡的表现，离不开一个强大的幕后英雄——强化学习（RL）训练库verl。这是一个由字节跳动 Seed 团队主导，并由社区共同维护的开源库。verl 就像 M3-Agent 的“私人教练”，通过强化学习的方式，帮助它不断地学习和进化，最终实现了卓越的能力。

verl 之所以如此强大，是因为它有一套独特的设计哲学和一系列硬核功能：

1. 灵活的 RL 算法“积木”

verl 采用了一种叫做混合控制器编程模型（hybrid-controller programming model）的设计，这让开发者可以像搭积木一样，轻松地实现复杂的训练流程。这意味着，不管是像 PPO、GRPO 这样的主流强化学习算法，还是你自己想出的新算法，都只需要用很少的代码就能实现，大大降低了开发难度，加速了创新。

2. 无缝对接，打通任督二脉

verl 的设计非常开放，它能够与现有的主流 LLM 框架无缝集成。无论你用的是哪种训练后端（比如 FSDP、FSDP2、Megatron-LM），还是哪种推理引擎（比如 vLLM、SGLang、HF Transformers），verl 都能完美兼容。这种设计就像一个万能插头，让它能够充分利用现有生态中的高性能工具，避免了重复造轮子，训练效率自然更高。

3. 性能炸裂，跑得又快又稳

在性能方面，verl 更是表现出色。它有一系列独门绝技：

• 状态级训练引擎：提供了业界领先的吞吐量，让训练过程像坐上了火箭。
• 3D 混合引擎（3D-HybridEngine）：这个名字听起来有点酷，它的作用是高效地重新分配计算任务，消除了内存中的冗余，并且在训练和生成阶段切换时，大大减少了数据传输的开销。
• 支持巨型模型：verl 能够训练拥有数百亿甚至更多参数的 MoE（混合专家模型），并且可以利用数百个 GPU 进行分布式训练，这得益于它对专家并行（expert parallelism）的深度优化。

总而言之，verl 不仅支持多种强化学习算法，还支持多模态 RL（比如视觉-语言模型 VLM），并且对主流的 Hugging Face 模型提供了开箱即用的支持。它就像一个全能的训练平台，为 M3-Agent 的成长提供了最坚实的后盾。

总结：未来的 AI，将拥有“眼耳口鼻”和“大脑”

M3-Agent 和 verl 的出现，不仅仅是技术上的一个小进步，它预示着一个全新的 AI 时代即将到来。未来的 AI，不再只是一个文本聊天机器人，它将拥有自己的“感官”和“大脑”。

• 具身智能与机器人：我们可以预见，具备 M3-Agent 这样能力的机器人，将能够更好地在现实世界中工作。无论是帮你整理房间的服务型机器人，还是在工厂里进行复杂操作的工业机器人，它们都能通过感知和记忆，做出更智能、更安全的决策。
• 智能个人助理：未来的个人助理，可能不再只是一部手机里的应用。它可能会是一个能通过摄像头和麦克风，观察你的生活，并为你建立长期记忆的智能设备。它会记得你早上把钥匙放在哪里，并在你出门前提醒你；它会根据你的烹饪习惯，在你做饭时提供及时的帮助。
• 视频内容理解：在内容行业，M3-Agent 能够深度理解视频内容，自动生成精彩的摘要、精准的标签，甚至能够回答用户关于视频内容的任何复杂问题，极大地提升了视频内容的价值和可访问性。

M3-Agent 不仅提供了一个强大的工具，更重要的是，它为整个 AI 社区描绘了一个清晰的蓝图：如何构建一个真正具备类人智能的智能体。 而 verl 则让这个蓝图的实现，变得更加高效和便捷。我们有理由相信，在不久的将来，具备长时记忆和多模态推理能力的智能体，将深刻地改变我们的生活、工作和与世界的互动方式。它将不再是遥不可及的科幻，而是我们触手可及的现实。