2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

让成本更低效果更好的 AI, 走入家用电器

发布日期:2024-11-12 16:26:48 浏览次数: 2757
作者:AI Tooling

微信搜一搜,关注“AI Tooling”

稀疏权重和交互否定了 GPU 和云计算
GPU 芯片和云计算基础设施对于冰箱和洗衣机等大众市场设备来说成本过高。通过仅将计算资源部署到 AI 推理的必要部分,稀疏 AI 允许产品设计师将自然语音界面等新 AI 功能实际融入其消费者产品中,而无需花费巨资或支付电费。

人工智能 (AI) 正在改变消费产品设计的方方面面。制造商正在探索将 AI 部署到其产品中的新方法,以通过新功能、提高效率和降低运营成本在市场上脱颖而出。然而,AI 的极端处理要求已导致制造商要么使用高成本、支持 AI 的芯片在设备上实现 AI,要么连接到基于云的 AI 基础设施,或者两者兼而有之。
这些方法会产生设计和运营成本,导致 AI 的价格高昂,除了白色家电/家用电器和其他消费电子应用等市场上最高端的产品外,其他所有产品都无法使用 AI。为了让对成本敏感的大众市场能够使用 AI,我们需要降低成本。这就是稀疏 AI 技术可以提供帮助的地方。通过将 AI 推理处理优化高达 100 倍,稀疏 AI 使开发人员能够使用低成本 AI MCU 芯片实现复杂的基于深度学习的 AI 模型,而不会对速度、效率、内存占用或性能产生不利影响。本文将探讨稀疏 AI 以及制造商如何优化 AI 推理以减少基于云的依赖和基础设施,甚至完全在设备上实现强大的基于 AI 的功能。

稀疏 AI
AI 模型可能很复杂,需要大量的处理资源和内存。在高端 AI 系统中,GPU 等专用(且昂贵)处理器在设备上运行 AI 模型推理。或者,许多系统采用基于云的方法,即在设备上收集数据并发送到服务器进行处理。
稀疏 AI 技术优化了 AI 推理和模型,以扩展在设备上运行的可能性,而无需昂贵的芯片或云连接。关键思想是激励神经网络在训练期间最小化其非零成分,然后识别和消除不相关的成分。这样,硬件内存和计算资源只需要分配给算法的剩余非零相关部分。

稀疏权重和激活
稀疏权重:模型由神经元之间的连接阵列组成。连接的强度由其权重决定。权重较小的连接对结果的贡献很小,如果有的话。仅存储和计算重要的权重可使速度、效率和内存占用提高 10 倍(见图 1)。
图 1 稀疏权重优化仅存储和计算重要的权重。
稀疏激活:同样,输出零的神经元对结果没有影响。跳过这些计算可使速度和效率提高 10 倍(见图 2)。
图 2 稀疏激活优化会跳过输出零的神经元。
双稀疏性结合了稀疏权重和稀疏激活,使速度和效率提高 100 倍。因此,稀疏 AI 使制造商能够实现基于深度学习的 AI 模型,其功能/复杂性是以前硬件的 100 倍,而不会对速度、效率、内存占用或性能产生不利影响。这使得能够以低成本的方式在广泛的新应用中实现复杂的 AI 功能(包括语言识别和语音控制)。

说出你的意思
基于 AI 的语言识别实现了所谓的“说出你的意思”用户界面。用户只需说“洗羊毛衫”,而不是转动拨盘、按钮和/或循环浏览多层嵌套命令菜单来将洗衣机调至“羊毛洗涤”模式。基于 AI 的语言处理的一个关键优势是,用户可以使用自然语言和各种格式提出他们想要的内容,就像他们使用大型语言模型但与他们的电器绑定一样。可以支持复杂的命令,例如“使用漂白剂进行热洗,并进行超长旋转循环”,而无需按多个按钮来找到正确的设置菜单。
基于 AI 的语音界面可以降低 UI 的复杂性和成本。所需的机械按钮和拨盘更少,并且基于 AI 的语音控制可以变得直观且在设备间通用。相比之下,每个制造商的控制面板格式都不同,这使得学习使用新设备变得具有挑战性。通过语音控制,用户可以以对他们来说最自然、最直观的方式与设备交互。每台新设备都需要自己的学习曲线的日子已经屈指可数了。
在设备中实现语音控制的挑战在于,基于 AI 的语言识别使用了需要大量处理资源和大量内存占用的大型模型。现在,随着稀疏 AI 的出现,无需昂贵的 GPU 或云资源即可实现基于 AI 的功能。稀疏 AI 能够高效地支持复杂度高达 100 倍的模型,这使制造商能够在家用电器中实现低成本的语音识别。换句话说,具有稀疏 AI 功能的 MCU 级处理器(即 AI MCU)可以提供云级别的性能,而不会影响准确性和响应能力。

降低运营成本
稀疏 AI 还可以显著降低运营费用。对于使用基本命令集的应用程序,基于 AI 的语言处理可以完全在设备上实现,并消除许多(如果不是全部)机械控制。
对于支持复杂句子或参考知识数据库的完整自然语言处理,可能仍需要云处理。例如,可以根据当前可用的食材提供烹饪建议的冰箱将需要云连接才能访问食谱数据库。这种架构需要设备上的互联网连接和支持云基础设施。当用户发出语音命令时,系统会捕获音频文件并将其发送到云进行处理。然后,云将命令返回给设备以执行操作。
理想情况下,语音控制系统支持唤醒功能,系统处于休眠状态,直到发出语音命令。但是,区分语音和周围环境噪音,需要持续处理和功耗来识别实际的语音命令。持续处理音频会给制造商的云基础设施带来巨大负担,尤其是在数百万台部署的设备中。
稀疏 AI 可以通过在设备上执行关键处理来降低云基础设施成本。首先,稀疏 AI 可以区分环境噪声和实际命令。数据不会连续发送到云端,而是仅在用户实际发出命令时才发送。其次,当检测到语音命令时,稀疏 AI 可以预处理命令以减少需要发送到云端的数据量。这两种优化都大大减少了支持大容量应用程序的自然语言处理所需的基础设施。
稀疏 AI 还可以降低设备功耗。考虑一下洗碗机等大部分时间处于非活动状态的设备。仅使用基于云的 AI,设备必须全天监听语音命令。借助稀疏 AI,低功耗 AI MCU(如 Femtosense 和 ABOV Semiconductor 开发的 AI-ADAM100)可以在主控制器和其他系统组件关闭或进入睡眠模式时进行监听。结果为用户节省了大量电量,使设备更具可持续性。
AI-ADAM100 将超低功耗、高性价比的 Cortex-M0+ 微控制器与稀疏处理单元 (SPU) 相结合。多种噪声条件下的语音命令识别性能已得到验证,可满足领先制造商的要求。通过从硅片和模型到应用实现稀疏 AI,AI-ADAM100 是针对语音和音频 AI 应用的最佳优化 AI MCU 解决方案。图 3 展示了一种成本和功耗高效的架构,使制造商能够为各种家电和消费电子产品提供强大的语言功能。
图 3 一种成本和功耗高效的架构,使制造商能够为各种家电和消费电子产品提供强大的语言功能。
稀疏 AI 是 AI 技术的重要发展,解决了将 AI 引入家用电器的挑战。虽然许多边缘应用可以从 AI 中受益,但它们通常缺乏实现 GPU 的价格或功率灵活性、云连接或支持专用硅片解决方案的容量。这限制了网络边缘设备对 AI 的采用。随着 Femtosense 和 ABOV Semiconductors 推出 AI-ADAM100 AI MCU,制造商现在甚至可以为未连接到云的设备在边缘实现语音语言界面。


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅