我要投稿

Llama4:最多2万亿参数，原生FP8的教师模型，不支持FP8的智算中心再次被暴击！！！

发布日期：2025-04-07 06:09:42 浏览次数： 2213

作者：算力百科

微信搜一搜，关注“算力百科”

3个基本结论：

1.llama 4 跟deepseek一样，采用原生FP8训练，不支持FP8的算力中心再次被暴击，更加坚信了我们认为下一代算力中心是FP4的技术判断《下一代智算中心，一定要选FP8、FP6、FP4的AI芯》，还是那个结论：不支持FP8的算力中心已经淘汰，转入残值处理阶段！《智算中心不会过剩，但会过时！！！》

2.llama4 最高2万亿参数的教师模型再次领先全球，教师模型竞争加速scaling law 并没有失效，堆参数依然可以提高模型能力，目前算力应用还是受限于算力太贵，怎么降低先进算力成本依然是目前重中之重（落后的算力AI芯片没有用任何拯救义，应该让他们尽快破产清算，开始下一局）

3.llama4是MoE 10M 长上下文,2 万亿总参数，多模态；R2、GPT-5、Qwen3 、文心-5也会是类似，重点卷多模态，多模态计算量更大，低精度FP4 FP8混训更加重要...

2025年4月6日，Meta在深夜投下一枚“技术核弹”——开源多模态大模型Llama 4系列。

这场发布不仅让AI社区沸腾，更以混合专家架构（MoE）、千万级上下文窗口和原生多模态融合三大突破，宣告了AI技术从“堆参数”到“拼效率”的范式变革！

说实话，基本上照搬了deepseek的思路，Deepseek确实影响了全世界的大模型训练思路，这是中国人工程化成功，这个点赞！

输入长度更大啦，给大家带来的一个好处就是输入10~100万字的招标文件理解，可以选择不需要切片啦，直接输入即可理解，当然这么做很费算力，但是至少技术上可以支持啦。

超大的上下文理解带来的好处就是可以让大模型一次性理解整个文件或者整本书，理解的更加深刻，不容易出现歧义。

Llama 4的五大核心技术亮点：稀疏化架构设计（MoE）、多模态原生融合、长上下文优化三大创新

1. 混合专家架构（MoE）：稀疏激活与动态路由。动态路由（Dynamic Routing）通过门控网络（Gating Network）实时分析输入内容（如代码、图像、文本），动态选择最相关的“专家子网络”处理特定任务。多模态专家，不同专家专注编程、数学、视觉等垂直领域，提升多任务性能。

2. 超长上下文支持：交错注意力与温度缩放。交错注意力层（Interleaved Attention Layers），采用旋转位置编码（RoPE）的变体，通过分层注意力机制，打破传统Transformer的位置嵌入长度限制，支持千万级token上下文。推理时温度缩放（Temperature Scaling）动态调整注意力权重分布，缓解长序列中Softmax函数的“过平滑”问题，提升长距离依赖建模能力。

特别指出：支持整部电影剧本分析、跨文档知识整合、百万行代码库全局推理等复杂任务。

3. 原生多模态：早期融合与跨模态对齐。早期融合（Early Fusion）：在模型输入层直接将文本、图像、视频统一映射为共享语义空间的向量（而非后期拼接），实现模态间深度交互。

4. 高效训练技术：MetaP优化器与低精度计算。MetaP超参数优化器，基于贝叶斯优化的自适应算法，可从小规模实验（如百亿参数模型）外推万亿级模型的超参数（学习率、权重衰减等），减少90%调参时间。FP8混合精度训练，关键层（如注意力矩阵计算）使用8位浮点数，配合动态缩放因子，在保持模型精度的同时，提升30%训练速度。

5. 多语言数据工程：语种覆盖与质量过滤。语种分层采样：针对200种语言，根据资源丰富度划分高/中/低资源组，动态调整训练数据比例（如高资源语种降采样防过拟合）。