最近一个月，大模型领域热闹非凡，各大科技公司纷纷加码。阿里推出了 QwQ 模型，OpenAI 发布了 o1 Pro，Google 带来了 Gemini-2.0-Flash-Exp，而 DeepSeek 则凭借 V3 模型成功出圈。然而，也有零一万物卖身阿里，令人唏嘘。但令人欣喜的是，又一家国内大模型公司 MiniMax（也就是视频生成领域广为熟知的海螺）加入了战局。他们开源了两个重量级模型： MiniMax-Text-01 [1] ：456B 参数的基础语言模型。 MiniMax-VL-01 [2] ：视觉多模态模型。 MiniMax 的优势何在？它凭借什么在竞争中脱颖而出？我们先来看看它的主要特点：
? 创新的线性注意力（Linear Attention）混合架构 ，每 8 层中有 7 层使用线性闪电注意力（Linear Lightning Attention），另外 1 层使用 SoftMax 以实现更好的平衡。这种结构使其能够高效处理超长序列，属于业界首次大规模实现，突破了传统 Transformer 架构的记忆瓶颈。
? 400 万超长上下文 ，MiniMax-Text-01 能够高效处理高达 400 万 token 的上下文，是 GPT-4o 的 32 倍，Claude-3.5-Sonnet 的 20 倍。 在 400 万 token 的“大海捞针”（Needle-in-a-Haystack）检索基准测试中实现了全绿的准确率，并在实际 AI 助手任务中超越了部分顶级模型，模型综合性能比肩海外顶尖模型。
? 极具竞争力的价格 ，每百万输入 Token 1 元/输出 Token 8 元，意味着你 400 万字的小说、论文放进去，只需要大约 4 块钱。
? 开源发布 ：包含完整权重，商业可用，但月活跃超过 1 亿用户需要申请额外授权。
本文接下来将从实测、数据集评估、技术解析三个方面展开，深入探讨 MiniMax 如何在低成本的前提下实现高效超长上下文处理。
1. 实测 400 万超长上下文窗口，测试的场景可就太有意思了。
场景 1：我经常在起点看小说，我简直太懂这个怎么应用在小说场景了。
小说结局不太完美？让 MiniMax 帮你重写 Happy Ending。 此处剧情想要展开讲讲，此处可本？整本书塞给 MiniMax，让它帮你按照设想进行编写。 起点作者卡文？作为粉丝，你也可以用 MiniMax 帮他写一篇续作，给作者大大来点小小的震撼。 场景 2：写文献综述
一篇论文一般在 4000-8000 字左右，以最大 8000 字一篇，喂给 MiniMax 30 篇也就 24 万字，依然戳戳有余。而 ChatGPT 只有 12 万左右的上下文窗口，你只能喂给它 15 篇，距离综述或许还差的远。
场景 3：多文档阅读
当下大模型应用最优秀的典范莫过于 Google NotebookLM。这是一款专注于超长文本解读的应用，能够基于用户上传的文档，生成深度交谈和总结，并实现与内容的交互。而这一切显然是基于对整个文档的理解，才能生成从宏观角度，逐步深度到细节的对话。 现在开发者也将能够在 MiniMax-Text-01 的支持下实现自己的 NotebookLM 助手 。
接下来，我们就实测一篇我最近在起点看的小说《没钱修什么仙？》，作者熊狼狗大大，由于最近才看，我很多细节还记得。登录 海螺官网 [3] ，然后粘贴全文大约 47 万字，它自动输出故事梗概，故事发展，主要矛盾分析，主题探讨，其他亮点，后续发展预测以及总结。
2. 长文评估 在最新的LongBench v2[4] ， MiniMax-Text-01 综合性能位列前茅，仅次于 OpenAI 的 o1-preview 和人类，展现了强大的竞争力 。 LongBench v2由清华大学领头开发，面向现实情景的长上下文基准测评数据集，涵盖多任务类别，具有高难度和多样性，重点测试模型的推理能力和计算扩展性。
在长上下文理解的基准任务（如 RULER 基准） 中性能显著领先。 多轮大海捞针 MR-NIAH（普通大海捞针测试的加强版） 评估中，随着窗口增大，相较于其他模型，其性能几乎不存在什么明显下降。3. 学术数据集评测 4. 技术解读 本部分分为两部分，第一部分解读 MiniMax 自研的混合线性注意力架构，这是高效低成本超长上下文实现的关键。第二部分解读 MiniMax 高效计算优化。
4.1 创新的线性注意力 在深度学习和自然语言处理（NLP）领域， Transformer 模型的核心组件是 注意力机制（Attention Mechanism） ，为人熟知的”Attension is all you need”。标准的 Transformer 使用的是 Scaled Dot-Product Attention ，但随着研究的深入，出现了多种改进和优化的注意力机制。以下是对几种常见注意力机制的比较：
Lightning Attention [5] ，它将整个序列拆分成块并重用部分计算以节省时间和内存，使它的 计算复杂度随序列长度呈线性增长 。 序列划分 ：模型将输入序列的查询-键-值（QKV）表示拆分为较小的区块（例如，每个区块包含 256 个 token）。每个区块可以在局部范围内处理（区块内处理），同时仍然保留已处理区块的信息（区块间处理）。
区块内处理（左乘） ：在单个区块内，模型仅关注区块内部的 token，构建“局部注意力”，避免重新计算整个大型注意力矩阵。
区块间处理（右乘） ：完成一个区块的处理后，会将之前所有区块的内容压缩成一个紧凑的键值前缀。后续的区块通过该前缀“回看”早前的 token，但仅引用紧凑的摘要，而非完整的原始数据。
为什么是线性的 ：传统的 Softmax Attention 会形成一个大小为（序列长度）×（序列长度）的巨大矩阵，其计算复杂度呈二次增长。而 Lightning Attention 将计算重新组织，使每个区块的计算成本固定。当处理下一个区块时，只需更新一个小型前缀（类似于一个持续更新的摘要），而不需要为每个 token 重新计算注意力矩阵。这种设计使得总计算成本大致与 token 数量成正比，而非平方增长。
避免重复扫描整个序列 ：在推理过程中，模型逐个生成 token，只需不断更新“前缀”表示，避免了传统方法中反复检查所有已处理 token 的繁琐步骤。
更高的内存效率 ：通过仅存储和重用部分累积值，这种方法在处理超大序列（如数百万 tokens）时，不会导致内存使用暴涨。每个区块的计算主要是自包含的，外加少量引用早期数据的开销。
然而在实际的长文本测试中，MiniMax 团队发现 Lightning Attention 相较 Softmax Attention 的长文检索能力偏弱，因此创新地开发了混合 Lightning Attention 注意力架构，每 8 层中包含 7 层 Lightning Attention 和 1 层 Softmax Attention：
Lightning Attention 提供了对长序列的高效建模。 Softmax Attention 提升了对语义相关性和复杂检索任务的支持。 具体架构如下图所示，这种设计平衡了效率和性能，使得模型既适合长文本处理，又能在检索任务中保持高精度。。
4.2 计算优化 MiniMax 在训练和推理过程中，仅用 1500-2500 的动态 GPU H800 集群就实现了本次训练。除了采用创新的 Lightning Attention 架构，使计算复杂度随序列长度线性增长。还采用高效处理可变序列长度（Varlen Ring Attention）支持百万级 token 上下文窗口的训练与推理，线性注意力序列并行优化（LASP+）以及高效内核融合操作优化 Lightning 线性注意力架构。
Varlen Ring Attention：高效处理可变序列长度
利用基于环的算法将序列划分为多个片段，无需进行额外的大规模计算。 这种设计允许上下文窗口保持开放，确保每个片段能够无缝连接，同时跳过不必要的计算。 LASP+（线性注意力序列并行优化）
消除了多 GPU 分布式计算时的瓶颈，通过优化中间状态的通信，将串行步骤转化为并行任务。 这种并行化使得模型可以高效地处理数百万 tokens 的序列。 高效内核与融合操作
通过将多个小型内存操作合并为单次操作，显著减少了内存传输量。 这种优化极大地提升了 GPU 的计算效率，对于处理巨大上下文窗口至关重要。 更多的技术报告文档，请查阅 MiniMax 官方文档：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf。
5. 总结 MiniMax 的超长上下文大模型落地，对大模型领域有着重要的意义，或许能够为各家厂商提供全新的思路，而开发者也将因此受益。超长上下文的支持使得处理超大规模文本变得可能，也将能够催生一系列新兴的 Agentic 应用。我们知道现有 Agent 长期记忆都是采用外挂 RAG 实现，为此开发了很多的框架，而且现有的 Agent 记忆在实现的时候，都是当做工具检索，我想说这并不是记忆，这只是 work around。所以我们可以畅想未来 Agent，具身智能机器人，甚至是 AGI，它们将能够在启动后自动加载角色记忆，并且可以实时更新记忆，而工具真的只是工具。
最后值得高兴的是，国内的大模型厂商仍在积极创新，行业仍然呈现出一片百花齐放的景象，在如此显卡短缺的情况下，仍然在快速拉进与美国的差距
粤ICP备14082021号
免费POC，
零成本试错
