从“更大”到“更聪明”：蚂蚁集团推出 Ling 2.0，大模型推理进入“稀疏智能时代”

在这个“模型越大越好”的时代，蚂蚁集团却走出了一条反向思路——让模型变得更聪明，而不是更臃肿。

最近，蚂蚁集团的 Inclusion AI 团队正式发布了 Ling 2.0 系列模型——一个以“推理优先（Reasoning-First）”为核心设计理念的稀疏 MoE（Mixture of Experts）语言模型家族。它最大的特点是：参数总量可以从 160 亿一路扩展到 1 万亿，但每个 Token 的计算量几乎不变。

听起来有点像魔法？但这其实是一套非常系统的工程哲学：每一次激活（Activation）都必须带来推理能力的增强。

一、1/32 激活比例的 MoE 设计：让“大模型”变轻盈

在 Ling 2.0 的架构中，核心是一个 稀疏专家混合层（Sparse MoE Layer）。

每一层都包含：

• 256 个路由专家（Routed Experts）；
• 1 个共享专家（Shared Expert）。

每处理一个 Token 时，路由器会从 256 个专家中选择 8 个激活，再加上始终开启的共享专家，总共 9 个专家参与计算——这只占全部专家的 **约 3.5%**，也就是 1/32 的激活比例。

这种稀疏激活机制，让模型在训练与推理时仅使用极小一部分网络，却能保持完整的参数规模。 根据蚂蚁团队的测试，相比等规模的稠密模型，Ling 2.0 的效率提升约 7 倍。

更关键的是，这种稀疏策略在 16B、100B 到 1T 三个版本中都能保持稳定表现：

这意味着：在算力成本几乎不增加的情况下，模型的推理与知识容量仍在稳步增长。

二、Ling Scaling Laws：从“试出来”到“算出来”的架构选择

以往大模型架构的选择常常依赖反复实验和调参。 但蚂蚁团队采用了更科学的路径——通过“Ling Scaling Laws”自动推导出最优设计。

他们建立了一个叫 “Ling 风洞（Ling Wind Tunnel）” 的验证体系：

• 先用一批小型 MoE 模型在相同数据和路由规则下训练；
• 然后将结果拟合为幂律（Power Law）；
• 最终预测在更大规模下的损失、激活比例和专家平衡点。

结果显示，1/32 激活比例、256 个路由专家 + 1 个共享专家的配置，在从 16B 到 1T 规模间都是最优解。

这一方法论，让团队无需“试错式”地烧掉 GPU 集群，就能提前预测模型表现，极大降低了超大规模模型的试验成本。

此外，Ling 2.0 的底层还引入了几项稳定机制：

• Sigmoid 路由打分（Aux-Loss-Free Routing），避免额外损失函数；
• QK Norm 与部分 RoPE 结合，保持深层模型梯度稳定；
• MTP Loss（多任务预测损失），提高复杂推理时的鲁棒性。

简单来说，Ling 2.0 不只是“更大”，而是“更有规律地变大”。

三、从 4K 到 128K：推理与上下文的“双螺旋进化”

Ling 2.0 的训练管线同样颇具匠心。

它不是一味地堆数据，而是循序渐进地将“推理能力”与“长上下文”结合：

1. 初期阶段：以 4K 上下文训练，数据中数学与代码类样本逐步增加至语料库的一半；
2. 中期阶段：选取 1500 亿高质量 Token，将上下文扩展到 32K；
3. 推理强化阶段：注入 6000 亿链式思考（CoT）数据；
4. 最终阶段：通过 YaRN 方法扩展到 128K 上下文，同时保持短文本性能。

这种“早期引入推理、逐步拉长上下文”的策略，让 Ling 系列在数学、代码、逻辑推演等场景中表现异常稳定。 相比许多后期才添加推理数据的模型，Ling 2.0 在深度思考能力上明显更自然、更连贯。

四、分阶段对齐：把“快答”与“深思”分开调教

在模型对齐（Alignment）环节，蚂蚁团队引入了一种独特的“双路径”方案：

1. 能力阶段（Capability Pass）： 使用“解耦微调（Decoupled Fine-Tuning）”策略，让模型学会区分快速应答与深度推理两种模式；
2. 演化链式思考（Evo-CoT）： 自动扩展并多样化推理链，提升模型自我思考的覆盖度；
3. 偏好阶段（Preference Pass）： 在句子级别执行群体竞技奖励（Group Arena Reward），以人类反馈优化回答风格与准确性。

这种“分层对齐”的做法，使 Ling 2.0 在推理性能不牺牲的前提下，回答既高质量又更贴近人类偏好。 特别是在数学推理、代码生成、指令跟随任务上，表现接近同级别闭源模型。

五、FP8 与异构流水线：让万亿参数不再是“天价游戏”

万亿规模模型的最大难题，不在算法，而在训练成本与硬件利用率。 蚂蚁的工程团队在这里玩出了一整套系统级优化：

• FP8 低精度训练：在损失曲线仅略低于 BF16 的前提下，硬件利用率提升 15%；
• 异构流水线并行（Heterogeneous Pipeline Parallelism）：在不同 GPU 上交错执行前向与反向计算，提升整体吞吐 40%；
• Warmup Stable Merge：通过合并检查点替代传统学习率衰减，让超大模型的稳定训练成为可能。

这些系统堆叠，让 1T 参数规模的训练真正“落地”。 也就是说，Ling 2.0 不只是一个模型，更是一套 “可复用的万亿级训练系统栈”。

六、结果与启示：稀疏，不等于妥协

最终评测显示：

• Ling Mini 2.0（16B，总参数）可匹敌 7B-8B 稠密模型；
• Ling Flash 2.0（100B，总参数）保持 1/32 激活，表现稳定；
• Ling 1T（1 万亿参数）在 128K 上下文下展现出强大的逻辑与数学推理能力。

更关键的是——这些性能的提升并非来自增加算力，而是源自稀疏激活、科学架构选择和高效系统工程的协同作用。

蚂蚁集团的 Ling 2.0 向业界传递了一个清晰信号：

大模型不一定要更“密”，也可以更“聪明”。

未来，当其他机构还在比拼显卡堆叠时，这类“固定稀疏+推理优先”的架构，或许会成为更主流的道路。

结语：推理时代，模型不再靠堆料取胜

从 GPT 到 Claude，再到如今的 Ling 2.0，我们正在见证一个重要的转折点： 模型的竞争，不再是谁更大，而是谁更会“思考”。

Ling 2.0 的出现，标志着中国团队在超大模型工程、推理能力建模与训练体系化优化上的全面突破。 它不仅是一个模型，更像是一个信号——未来的智能，不在算力极限，而在结构智慧。