【不看后悔】一文梳理端侧模型和小模型

在AGI技术飞速发展的今天，大模型技术的突破为我们带来了无数的惊喜和可能。得益于端侧AI芯片的进步，如昨天文章中介绍的苹果M4芯片【地表最强端侧芯片：苹果M4】，端侧模型和小模型正逐渐成为备受关注的焦点。它们各自具有独特的特点和优势，为人工智能的应用和发展开辟了新的道路。

端侧模型与小模型的定义与区别

端侧模型：通常指的是部署在手机、电脑、或其他移动设备、嵌入式系统等资源受限设备上的模型。这些设备的计算资源（如 AI 算力、内存等）相对有限，同时对端侧的能耗、发热等问题有着更为严格的要求。因此，端侧模型需要经过特别设计，以减小模型大小和优化模型架构，从而能够在端侧设备上高效运行。

小模型：一般指的是参数规模远小于一些大型语言模型（如 GPT-3 或 Llama-13b）的模型，常见的参数规模有 1.5b、3b、7b 等。尽管参数较少，但通过特定的设计和优化，小模型依然能够在某些任务上实现与大型模型相近的性能，同时降低计算资源消耗，提高能耗比。

虽然【端侧模型】和【小模型】不能直接等同，但在当前手机、PC 等终端设备计算资源有限的情况下，两者存在较多重合领域。学术界对小模型的技术研究较为深入，而产业界则更侧重于端侧模型的工程化研究。

目前，在全球备受瞩目的小模型和端侧模型中，Meta、微软、苹果等发布的模型颇具代表性。由于小模型的总体技术方案并没有形成产学研共识，目前小模型主要可以分为三大技术流派：

暴力美学派：以 Meta 的 Llama-3 为典型代表。Llama 是大模型领域市场认知度极高的开源大模型系列。2024 年 4 月，Meta 在官网通过技术博客正式发布了最新的 Llama-3 系列大模型，其在主流榜单上成绩斐然。Llama-3 有 80 亿（8b）和 700 亿（70b）两种参数，而据 Meta 透露，其 4000 亿（400b）参数的 Llama-3 模型仍在训练中。

Llama-3 在模型架构上与上一代 Llama-2 差别不大，但训练数据规模有了惊人提升。其训练数据量达到了令人咋舌的 15 万亿（15t）tokens，竟是 Llama-2 的 7 倍。要知道，根据 Chinchilla Scaling Laws 定律，对于一个 8b 的大模型，最优训练数据规模仅为 0.2 万亿 tokens。如此大量的数据投入堪称数据“暴力美学”，也确实让 Llama-3-8b 在同等规模的模型中表现出众。Meta 研究人员还表示，15 万亿并非终点，在对 Llama-3 训练超过 15 万亿规模的数据后，模型仍展现出对数线性级（log-linearly）的性能提升。

精耕细作派：微软的 Phi-3 则体现了不同的训练数据思路。Phi 是微软旗下专注于开源小模型的系列。Phi-1 与 Phi-2 系列的模型参数规模都不超过 3b，却表现出色。Phi-3 系列于 2024 年 4 月发布，不仅继续将研究重心放在小模型上，其技术论文标题更是直接表明——《Phi-3 技术报告：一个能在手机本地运行的高性能语言模型》，明确瞄准了端侧 AI。

Phi-3 系列包含 phi-mini-3.8b、phi-small-7b、phi-medium-14b 三个版本。在训练数据设计上，Phi-3 与 Llama-3 分歧较大。根据技术论文，Phi-3 的训练数据仅为 3.3 万亿 tokens，不足 Llama-3 的四分之一。然而，Phi-3 研究人员对这 3.3 万亿的数据进行了深入的数据工程研究，严格把控高质量数据的筛选。这一思路源自微软 Phi 系列开山论文《Textbooks Are All You Need》中的高质量数据集路线。在该论文中，微软用规模仅为 7b token 的“教科书级高质量数据”训练出 1.3b 参数的 Phi-1，并延续了这一策略。

Phi 系列在训练数据领域的“精耕细作”与 Llama 系列的“暴力出奇迹”形成了鲜明对比，也是当前技术争论的焦点之一。

架构创新派：除了上述在数据工程、数据训练等方面展开研究的派别外，业内也有不少参与者将重点放在小模型与端侧模型的架构创新上。例如，通过设计更高效的神经网络架构、采用模型压缩技术或探索新的训练方法等，来提高模型在端侧设备上的性能和效率。

可能有人会说，通过安装在手机上的大模型APP，直接调用云端的大模型接口不就够了，为什么还需要端侧大模型呢？

隐私保护更强：数据无需上传至云端，减少了数据泄露的风险，更好地保护用户的隐私。

响应速度更快：直接在本地进行推理和计算，无需依赖网络传输，能够实现实时响应，提供更流畅的用户体验。当然，这依赖于端侧AI芯片的性能要有提升，毕竟，端侧的竞争对手在云端的英伟达芯片，后者的价格动辄几万美金。

离线可用性高：即使在没有网络连接的情况下，端侧模型仍然可以正常工作，满足用户在各种场景下的需求。

端侧模型的应用场景十分广泛。在智能手机领域，端侧模型可以实现语音助手、智能拍照、实时翻译等功能，为用户提供更加个性化和便捷的服务。例如，手机可以根据用户的日常使用习惯和偏好，提供个性化的推荐。

在物联网设备中，端侧模型能够进行实时的数据分析和决策，实现智能家居、智能工业等应用；此外，在一些对数据安全和实时性要求较高的行业，如医疗、金融等，端侧模型也可以发挥重要作用，例如辅助医疗诊断、进行风险评估等。四、小模型的性价比与潜力 小模型之所以受到关注，除了其在特定任务上能够达到较好的性能外，还具有较高的性价比。相比大型模型，小模型的训练和部署成本较低，对计算资源的要求也相对较小。这使得更多的企业和开发者能够负担得起使用小模型的成本，从而推动人工智能技术在更广泛领域的应用。

此外，小模型在一些特定场景下具有独特的潜力。例如，在边缘计算环境中，由于设备的计算能力和存储资源有限，小模型能够更好地适应这些限制。同时，小模型的灵活性较高，可以更容易地进行定制和优化，以满足不同应用场景的特殊需求。

这些厂商的积极布局，不仅推动了小模型和端侧模型技术的发展，也为消费者带来了更多具有创新性和实用性的产品。