OpenAI又开源了！不用代码就能构建复杂多Agents实时语音协作系统

发布日期：2025-01-22 14:28:14 浏览次数： 2658

作者：夕小瑶科技说

微信搜一搜，关注“夕小瑶科技说”

就在前几天，OpenAI 又双叒叕悄悄发布了一个开源项目 openai-realtime-agents，这玩意儿是基于 Realtime API 整出来的一个多 Agents 语音应用示例。有了它，只要 20 分钟，属于自己的多 Agents 语音应用，你也能带回家！

Github：
https://github.com/openai/openai-realtime-agents

在一位大佬分享了其“状态机 Prompt”的概念后，平台上的网友已经在疯狂议论了。

有的赞叹不已 ?：

也有的表示不屑，自己早有过这样的尝试：

还有的则更看好低代码或全代码形式的 workflow ?：

也有执行力强的网友已经开始运行项目了 ?：

另有大佬表示，这次的项目预示着超级人工智能的产生，他还猜测 OpenAI 内部已经训练出了博士水平的模型，将与此项目非常契合：

看到网友们如此兴奋，鼠鼠我呀，也跃跃欲试想探个究竟了～

多 Agents 语音应用示例

在以前，我们知道，要制定一个 Agent、搭建多 Agents 应用、实现多 Agents 之间的交互，往往需要复杂的编程知识和大量的开发工作，比如 MetaGPT、CrewAI、XAgent、微软的 AutoGen。你不仅要精通各种编程语言、开发环境搭建，还需要对 Agent 规则制定等方面有一定的了解。

而这个项目最大的亮点在于，它允许你使用自然语言来制定 Agent 以及它们之间的交互规则，并且引入了低延时的 Realtime API。所以也就有了上面官方的承诺， 20 分钟构建一个多 Agents 实时语音应用。

也就是说，即使你没有专业的编程技能，只要你能用清晰的自然语言描述出你想要的各个 Agents 具备的行为和功能，你就可以快速制作一个多 Agents 应用，或者是创建一个代理式工作流，一个工作流中的每个节点都有一个特定的 Agent 待命。

好家伙，有嘴就行？

话不多说，让我们先看一下官方提供的示例：

在这个简单场景里，一共有两个 Agent。

一个叫 greeter，可以理解为系统的接待员；

另一个叫 haiku，是一个专门写三行俳（pái）句诗（日本的一种古典短诗）的 Agent。

连接这个系统：

接待员 Agent greeter 就会过来招呼你，问你是否需要来首俳句诗？
你回答是的。
这时候应用就切换到写诗的 Agent haiku，向你打招呼，只要提供一个主题，它就可以为你写诗（上来第一件事就是为你写诗，有点子浪漫）。
你回答 AGI。
于是，它就写下了上面的诗。

那么，这个浪漫的系统是怎么定制的呢？其实只需要 3 步：

定义 Agents。比如这里的 greeter 和 haiku，用文字描述他们的姓名、职责（Agent 转换工具会用）、指令即可，当然你还可以定义它能使用的工具。
明确 Agent 的下游响应者。比如 greeter 的下游 Agent 就是 haiku。
添加 Agent 转换工具。也就是换「人」工具，这样遇到能力范围外的事时，当前 Agent 就可以自动切换到另一个 Agent 了～比如这里把所有 Agents 传进来就好，方法里会根据是否有下游来决定是否添加该工具。