2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

阶跃星辰Step-1o重大升级,多模态视觉双榜夺冠,国内第一!

发布日期:2025-01-22 07:13:19 浏览次数: 4463
作者:阶跃星辰

微信搜一搜,关注“阶跃星辰”

推荐语

国内首个千亿参数端到端语音大模型 Step-1o 系列重大升级,多模态视觉双榜夺冠,这是小贤看到的关于模型升级最好的消息,没有之一。

核心内容:
1. Step-1o 系列模型上新动态
2. Step-1o Vision 多模态理解大模型的优势
3. 两款模型的使用入口及获取成绩

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

Step-1o 系列是阶跃星辰最新研发的原生端到端文本、视觉、语音三模态生成理解一体化模型。一个月前,我们发布了 1o 家族的首个模型 Step-1o Audio,这也是国内首个千亿参数端到端语音大模型,今天我们很高兴地为大家带来 Step-1o 系列的最新动态:新成员 Step-1o Vision 多模态理解大模型上线!Step-1o Audio 语音模型能力升级!
相对于 Step-1V 系列多模态理解模型,Step-1o Vision 是更强大的版本:在视觉识别、感知、指令跟随、推理等方面实现了显著提升。
而全面升级后的 Step-1o Audio 情商更高,有了更强大的情绪感知与理解能力个性化风格表达声音更自然,支持多语种及方言理解,同时实现了的时
现在两款模型均已全量开放,登录跃问 App 即可使用 Step-1o Audio 和 Step-1o Vision,且 Step-1o Vision 也可在跃问网页端(https://yuewen.cn)调用。
Step-1o Vision 使用入口:点击跃问 App 右下角➕,上传图片
Step-1o Audio 使用入口:点击跃问 App 右上角话筒键,发起语音通话

Step-1o Vision:更精准,更智能

Step-1o Vision 是 Step-1o 多模态系列模型中的视觉版本,相比 Step-1V 和 Step-1.5V 视觉理解模型,实现了架构升级,在视觉感知和识别指令跟随空间理解与推理等视觉任务效果上实现了大幅提升。
Step-1o Vision 多模态大模型刚上线,就在多个国内外权威榜单拿下第一名的好成绩!
1 月 20 日,LMSYS Org 发布了大模型竞技场 Chatbot Arena 最新榜单,Step-1o Vision 在其中位列视觉领域中国大模型第一,超过所有国内大模型公司。
LMSYS Org 网址:https://lmarena.ai/
同时,在国内权威的大型模型评估平台“司南”(OpenCompass)多模态模型评测实时榜单中,位列第一。
OpenCompass 网址:https://rank.opencompass.org.cn
话不多说,找几张图片考考它。
更精准的视觉理解
Step-1o Vision 能够精准识别各种复杂图像,包括自然场景、物体细节、图表等,即使遇到图像质量欠佳或存在遮挡、变形等情况,也能准确识别。
对于复杂场景(物体重叠模糊、多种文字),以下图为例,Step-1o Vision 准确捕捉了画面的复古未来风格,并识别出“个人交通工具”、“未来城市”等关键要素,特别是识别并翻译了小字的意大利语,展现了优秀的复杂场景理解、多语言理解和识别能力。





我们上传了一张挤在一块儿的幼年猫科动物图,试图骗过 Step-1o Vision。不过它精准识别了动物数量和品种,还具备一定的幽默感和互动性。


除了最基础的识别和感应之外,对于图片里极其微小但很重要的视觉细节,Step-1o Vision 的理解也不在话下。

Prompt:黑线代表人类知识范围,红圈代表 phd 的工作。这张图说明 phd 的工作特性是什么?
以上面的图片为例,我们分别把它传给 Step-1.5v 和 Step-1o Vision,Step-1o Vision 模型对图片的理解超越了 Step-1.5v
  • Step-1o Vision 注意到了 Step-1.5v 遗漏的红色部分(红圈超出黑线),并准确解读出其代表“探索和扩展人类知识边界”的含义,体现了更深入的视觉信息提取和推理能力。
  • 对蓝色部分(红圈虽小但更接近知识前沿)的解读也更准确,将“相对较小”和“更接近前沿”联系起来,说明了博士研究的专精和前瞻性。
  • 模型还额外识别了图中没有提到的圆形这个关键信息,并对其进行了正确的解读。

在下面这张图中,模型能通过表格、logo 等元素精准识别出对应的软件工具,并理解了其中黑色幽默的表达方式,将软件分成了五个等级,还对每个层级的软件进行了介绍。体现了模型优秀的图表识别、图像识别和理解能力,并能结合常识对这些软件的特点进行总结说明。其中,模型成功识别了几个较小的软件图标(例如 Apache OpenOffice 和 LaTeX),表现非常出色。

更智能的视觉推理
Step-1o Vision 是一款高智商的多模态模型,不仅能够精准地识别和理解图片,还能根据图片内容进行复杂推理,为你提供解题策略和创作灵感。
一张真假折叠屏手机图片差点把我们都骗了,不妨给 Step-1o Vision 试试。
不仅识别出图中是用铰链连接的三个手机,而非真正的折叠屏手机,还能根据常识推断出这种设计的优缺点。图像理解能力和逻辑推理能力妥妥的优秀。其中,正确识别出这种设计的“非实用性”是难点,说明模型对日常生活有一定的认知。
对于“把某件物品拿出来,需要几步”的推理类题目,Step-1o Vision 展示了对物理空间关系的强大理解能力,以及解决复杂任务的逻辑规划能力。
不仅准确识别出图片中多层堆叠物品的空间关系,还按正确顺序给出取出维生素 C 瓶的步骤。特别是它正确识别出茶叶罐是侧立着的,这是理解图片的关键难点。

Step-1o Audio:情绪丰富、个性表达

去年底,我们发布了国内首个千亿参数端到端语音大模型 Step-1o Audio ,一个月后,Step-1o Audio 迎来多项提升,在情绪感知与理解、多语种和多方言、通话体验上有了新的突破。

话不多说,一起来听听看。

Step-1o Audio 能够精准识别用户语气语调中蕴含的情绪信息,并结合语境,深度理解用户的情感需求,给出最佳回应。

相亲成功,见证幸福:在人生的重要时刻,Step-1o Audio 是个永远不会扫兴的朋友。不仅能分享你的喜悦,还能恰如其分地提问,倾听你的故事。

疲劳开车建议:Step-1o Audio 能接住你的所有负面情绪,还能给你实实在在的生活建议!
玩转方言、个性化表达拉满:Step-1o Audio 说起四川话来,无论是语调的起伏还是词汇的运用,都能精准把握,让人仿佛置身于四川的街头巷尾。
何与男朋友撒娇Step-1o Audio 的语气自然又可爱,同时还带着一点点小俏皮,瞬间拉近两人之间的距离。
宝宝入学,暖心陪伴第一次送宝宝上学,总有万般不舍和担心。Step-1o Audio 能理解你的牵挂与不舍,安抚你的焦虑,并给你一些实用的建议。
无论是日常的方言交流,还是关键时刻的情感支持,它都能以个性化的方式与你互动,让你感受到无与伦比的关怀和理解。就像一个懂你的朋友,时刻陪伴在你身边,为你的生活增添一份温暖与乐趣。
One more thing
1 月 19 日,在 LMSYS Org 发布的大模型竞技场 Chatbot Arena 最新语言榜单里,Step-2-16K-Exp 是极少数进入前十的国产大模型,超越了 o1-mini、Gemini 1.5 Pro-002 和 GPT-4o-2024-05-13 等知名模型。
春节前,Step 系列将继续密集上新,为大家带来更全面、性能更加强大的通用大模型。敬请期待!


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅