MiniMax 深夜首次开源，400万长文本，全新架构，挑战Transformer

昨天深夜，MiniMax 突然宣布发布自家最新语言大模型，并且历史首次全面开源。

• 基础语言大模型 MiniMax-Text-01，视觉多模态大模型 MiniMax-VL-01

• 全新的 Lightning Attention 架构，平方变线性，大幅降低推理成本

• 重磅开源，文本模型参数高达 4560亿，32 个专家

• 超超长 400 万字长上下文，且性能追平顶尖海外模型

• 模型、代码、技术报告已经全部发布，非常真诚

目前网页体验和API也都已经上线，可以在线体验和商用，地址见文章最后。

新技术：Lightning attention

这次模型最让人惊喜的就是全新的线性注意力架构。

大家都知道在实际的 AI 使用中，长文本至关重要，角色聊天的超长记忆，AI Coding 写代码，Agent 完成各种任务，哪个场景都离不开长文本。

大模型虽然一直在降价，但是使用的时候上下文越长，速度就越慢，价格也就越贵。

这个问题的根源是 Transformer 架构有二次计算复杂度。随着上下文的增加，推理的算力消耗是指数上升的。

而这次 MiniMax 的新模型，使用了 Lightning attention 机制，是一种线性注意力机制，能够大幅降低长文本的计算量和推理时间。

在技术报告中，可以看到对这次模型的主要架构图。

这个架构对模型推理资源消耗的降幅非常巨大，通过下面的长文本的推理时间对比图就能看出，在上下文持续上升时，使用了线性注意力让推理时间接近线性地缓慢增加，而非指数级别增加。

更详细的介绍可参见文末的技术报告。

计算量降低了，价格下来了，性能也不能损失，长文本才算真正可用。

下图是 Text-1 在超长文本评测集的性能表现，在512K的长度以上的区间，性能竟然超过了 Gemini 2.0 Flash。

技术报告里另外一个非常有趣的点是，随着上下文的提升，模型的 In-Context Learning 能力，逐渐增强，这对 AI 写作以及需要长记忆的任务都有巨大的帮助。

总的来说，Lightning attention 机制的应用，让大模型的长文本可用性大幅提升，价格也有机会再下降一个量级，未来，非常值得期待。

模型性能，追平一线

模型性能指标方面，作为开源模型，在很多指标追上了最佳的海外闭源模型。

并且由于模型有海螺平台反馈进行优化迭代，用户真实场景的使用体验也有保证。

官方利用真实的用户使用场景构建了一个测试集，可以看出在真实场景的表现也很亮眼，特别突出的场景是三个：创意写作、知识问答、长文本。

另外，视觉理解模型 MiniMax-VL-01 表现，基本在每个指标上都追平或超过了海外顶级模型，特别是实用的 OCR 和 图表场景。

模型价格

输入：1元/百万 token

输出：8元/百万 token

基本上闭眼用。

模型资源

代码：https://github.com/MiniMax-AI/MiniMax-01

模型：https://huggingface.co/MiniMaxAI/MiniMax-Text-01, https://huggingface.co/MiniMaxAI/MiniMax-VL-01

技术报告：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf

网页端：https://hailuo.ai

API: https://www.minimaxi.com/

最后的话

看完今天 MiniMax 新发布的的 01 系列模型，MiniMax-Text-01 和 MiniMax-VL-01 表现都相当不错。

线性注意力的大规模应用，不仅能进一步降低模型价格，也是未来模型突破更大上下文窗口的必备技术，意义重大。

但最令人惊喜的，还是 MiniMax 选择将模型开源，并将预训练和后训练的心得通过技术报告分享给大家。

未来一年，我们依然需要大语言模型持续进步，这样AI 应用才能解锁更多的新场景。

未来一年，期待 AI 行业更开放的交流和更大的进步。