2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

2GB 内存就能跑 ChatGPT!这个国产「小钢炮」,要让华为 OV 们的 AI 体验突破瓶颈

发布日期:2024-09-05 22:22:45 浏览次数: 2537
作者:APPSO

微信搜一搜,关注“APPSO”

在这波 AI 浪潮中,面壁智能是国内少有选择 All In 端侧模型的头部大模型厂商。
自从面壁智能 2 月份发布小钢炮 1.0 后,接连数月不断迭代升级,其中后续推出的开源模型 MiniCPM-Llama3-V 2.5 更是因为过硬的实力遭到了斯坦福 AI 团队的抄袭。
四月份,面壁智能 CTO 曾国洋还曾预言,GPT-3.5 级别的模型将在一两年内就能在移动设备上运行。
好消息是,不用再等一到两年了,因为今天发布的 MiniCPM 3.0 实现了初代小钢炮发布时立下的 Flag:今年内让 GPT-3.5 水平的模型在端侧跑起来。
仅 4B 参数,以小博大,性能超越 GPT-3.5,MiniCPM 3.0 也标志着「端侧 ChatGPT」时刻的到来。
简单来说就是,MiniCPM 3.0 的面世意味着用户未来能体验到快速、安全、且功能丰富的本地 AI 服务,获得更流畅的交互体验。
基准测试显示,MiniCPM 3.0 在 CMMLU、CEVAL 等考究中文能力的基准测试中一骑绝尘,轻松碾压 Phi-3.5、以及 GPT-3.5 等模型。
而即便是对上了 8B、9B 等国内优秀的大模型,MiniCPM 3.0 的表现同样相当出众。
简单总结一下 MiniCPM 3.0 的特点:

无限长文本,榜单性能超越 Kimi

端侧最强 Function call,性能比肩 GPT-4o

超强的 RAG 外挂三件套,中文检索、中英跨语言第一
无限长文本,性能超越 Kimi
小而强、小而全,或许是 MiniCPM 3.0 最贴切的形容词。
上下文长度是衡量大模型基础能力的一项重要特性,更长的上下文长度意味着模型能够存储和回忆更多的信息,从而有助于模型更准确地理解和生成语言。
举例来说,更长的上下文长度能够让一个 AI 写作工具根据用户之前写的内容提供更相关的建议,或者根据更多的背景信息创作出更复杂、更引人入胜的故事。
为此,面壁提出了 LLMxMapReduce 长本文分帧处理技术。
这是一种通过将长上下文切分为多个片段,让模型并行处理,并从不同片段中提取关键信息,汇总最终答案,实现无限长文本。
据悉,这一技术普遍增强了模型处理长文本的能力,且在文本不断加长的情况,仍保持稳定性能、减少长文本随加长掉分情况。
LLMxMapReduce 技术框架图
从 32K 到 512K,MiniCPM 3.0 能够打破大模型记忆的限制,将上下文长度无限稳定拓展,用面壁官方的话来说就是「想多长就多长」。
从大模型长文本的基准测试 InfiniteBench 结果来看,随着文本长度的增加,4B 参数的 MiniCPM 3.0 的性能优势反而愈发明显。
InfiniteBench Zh.QA 评测结果显示,4B 参数的 MiniCPM 3.0 整体性能优于 Kimi,在更长的文本上显示出相对更强的稳定性。
端侧最强 Function call,性能比肩 GPT-4o
在接受 APPSO 等媒体的采访时,曾国洋也表示,MiniCPM 3.0 针对用户关注的一些能力进行了提升,比如加入了完整的 system prompt function calling 和 code interpreter 等。
其中 Function Calling(函数调用)能够将用户模糊化的输入语义转换为机器可以精确理解执行的结构化指令,并让大模型连接外部工具和系统。
具体来说,通过语音在手机上调用日历、天气、邮件、浏览器等 APP 或相册、文件等本地数据库,让人机交互更加自然和方便。
据介绍,MiniCPM 3.0 宣称拥有端侧最强 Function Calling 性能 ,在 Berkeley Function-Calling Leaderboard 榜单上,其性能接近 GPT-4o。
曾国洋表示,现有的开源模型在一些能力上的覆盖并不全面,通常只有一些云端的大型模型能够完全覆盖这些能力。现在 MiniCPM 3.0 也实现了相应的功能。
以 RAG(检索增强生成)为例,这是一种结合了信息检索(IR)和自然语言生成(NLG)的技术。
它通过从大规模文档库中检索相关信息来指导文本的生成过程,能够有效地减少大模型的幻觉问题。
对于法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业来说,大模型+RAG 在行业中尤其实用。
MiniCPM 3.0 一口气上线了 RAG 三件套:检索模型,重排序模型和面向 RAG 场景的 LoRA 插件。
MiniCPM-Embedding(检索模型)中英跨语言检索取得 SOTA 性能,在评估模型文本嵌入能力的 MTEB 的检索榜单上中文第一、英文第十三。
MiniCPM-Reranker(重排序模型)在中文、英文、中英跨语言测试上取得 SOTA 性能。
经过针对 RAG 场景的 LoRA 训练后,MiniCPM 3.0-RAG-LoRA 在开放域问答(NQ、TQA、MARCO)、多跳问答(HotpotQA)等多项任务上的性能表现,超越 Llama3-8B 和 Baichuan2-13B 等模型。
模型应用落地,先跑起来再说
在接受 APPSO 等媒体的采访时,面壁智能 CEO 李大海提到,能跑起来和真正流畅地去做应用是两个不同的概念。
此前有消息称苹果明年发布的 iPhone 17 系列,顶配将升级至 12GB 内存,以支持更多本地的 AI 功能。

相比之下,8GB 内存 iPhone 16 的系列,大部分 AI 功能只能依靠云端。
而经过优化后的 MiniCPM 3.0 对端侧设备的资源需求很低,量化后仅需 2.2G 内存,iPad 端侧推理也能达到 18-20 tokens/s。
对于 iPad 这样的移动设备来说,每秒能够处理 18-20 个 token 的速度已经意味着模型能够实时处理自然语言输入。
比如在语音识别或实时翻译应用中,用户基本不会感受到明显的延迟,享受到相对流畅的交互体验。
另外,相较于云端模型,作为端侧模型的面壁小钢炮 MiniCPM 系列模型还天然具有弱网、断网可用、超低时延、数据隐私安全等本地优势。
在贡嘎雪山附近游玩时,想知道欣赏「日照金山」的最佳姿势,网络不佳的你可以向 MiniCPM 3.0 发出提问。
又或者,如果你是「赶海」的新人,站在波涛汹涌的海岸边,却想要满载而归,那不妨可以遵循 MiniCPM 3.0 给出的建议。
当你抬头仰望夜空时,萌生了捕捉星轨的念头,MiniCPM 3.0 也能给你将拍摄需要准备的细节娓娓道来。
MiniCPM 小钢炮系列飞速进步的背后是一以贯之的高效大模型第一性原理。
面壁智能首席科学家刘知远曾提出一个大模型时代的「摩尔定律」,即大模型的知识密度平均每 8 个月将提升一倍。
知识密度=模型能力/参与计算的模型参数
具体来说,随着模型知识密度的持续增强,2020 年 GPT-3 175B 能力到 2024 年 MiniCPM 2.4B 模型即可达到,2022 年底 ChatGPT 首次亮相内置的 GPT-3.5 到 2024 年 MiniCPM 3.0 模型即可达到。
基于此,如果说 MiniCPM 追求的是极致端侧性能表现,那么 MiniCPM-V 追求的是极致多模态创新表现,面壁小钢炮的进步不是单方面的进步,而是端侧双旗舰的齐头并进。
经过一两年的技术摸索,AI 大模型正逐步进入落地应用的深水区。
李大海认为,大模型具有两个大方向的价值,一个方向的价值叫做升级旧世界,第二个方向的价值则是发现新大陆。
比如苹果整合 ChatGPT 服务到 Apple Intelligence 中便是一个典型的例证。
端侧模型也是如此,通过在手机、汽车还有 PC 这样的场景里面,更适合做的事情是去服务好终端的厂商,然后让终端厂商因为有了端侧模型,整个系统层级的体验也变得更好。
只不过,在技术到产品的惊险一跃中,厂商也需要投入大量时间来融合用户需求与技术。
正如李大海所言,尽管移动互联网自 iPhone 问世以来就已经存在,但真正大规模增长和被验证的应用确实是数年后才开始涌现。
实际上,面壁智能也一直在探索落地应用的场景。
此前,面壁小钢炮 MiniCPM 端侧模型已经在 PC、平板、手机等领域上实际运行。
前不久,面壁智能也在 WAIC 上联手加速进化机器人,打造出完整「具身智能」的先驱方案,这也是业界首个高效端侧模型运行在人形机器人的智能系统。
李大海也向 APPSO 等媒体剧透,预计在年底前将会有配备面壁智能端侧模型的产品上市。
简言之,面壁智能不断将高效高性能大模型放到离用户最近的地方,让大模型的能力像电力一样被随意调用、无处不在、普适且安全。
在这个过程,更多的人也能尽快地享受到大模型的价值和作用。
MiniCPM 3.0 开源地址:
GitHub:
https://github.com/OpenBMB/MiniCPM

HuggingFace:
https://huggingface.co/openbmb/MiniCPM3-4

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅