西风 发自 凹非寺
量子位 | 公众号 QbitAI
开源模型上下文窗口卷到超长，达400万token！
刚刚，“大模型六小强”之一MiniMax开源最新模型——
MiniMax-01系列，包含两个模型：基础语言模型MiniMax-Text-01、视觉多模态模型MiniMax-VL-01。
MiniMax-01首次大规模扩展了新型Lightning Attention架构，替代了传统Transformer架构，使模型能够高效处理4M token上下文。
在基准测试中，MiniMax-01性能与顶级闭源模型表现相当。
MiniMax-Text-01性能与前段时间大火的DeepSeek-V3、GPT-4o等打的有来有回：
如下图(c)所示，当上下文超过20万token，MiniMax-Text-01的优势逐渐明显。
在预填充延迟方面也有显著优势，在处理超长上下文时更高效，延迟更低：
网友直呼“难以置信”：
开放权重，拥有400万token的上下文窗口！我原本以为这可能要五年后才会实现。
官方表示，MiniMax-01是为支持之后Agent相关应用而预备的：
因为Agent越来越需要扩展的上下文处理能力和持续的内存。
目前官方还公开了MiniMax-01的68页技术论文，并且已将MiniMax-01在Hailuo AI上部署了，可免费试用。
另外，新模型API价格也被打下来了：
输入每百万token0.2美元，输出每百万token1.1美元。
下面是模型更多细节。
4M超长上下文
MiniMax-Text-01
MiniMax-Text-01，参数456B，每次推理激活45.9B。
它创新性地采用了混合架构，结合了Lightning Attention、Softmax Attention以及Mixture-of-Experts（MoE）。
并且通过LASP+、varlen ring attention、ETP等优化的并行策略和高效的计算通信重叠方法，MiniMax-Text-01训练上下文长度达100万token，推理时可以扩展到400万token上下文。
模型架构细节如下：
在Core Academic Benchmark上，MiniMax-Text-01在GPQA Diamond上获得54.4分，超越GPT-4o。
在长基准测试之4M大海捞针测试，MiniMax-Text-01一水儿全绿。
也就是说，这400万上下文里，有细节MiniMax-Text-01是真能100%捕捉到。
除此之外，还有LongBench v2、Ruler基准测试，考验的是模型长上下文理解能力，包含基于长上下文输入的逻辑推理能力。
MiniMax-Text-01模型在处理Ruler的长上下文推理任务时表现出显著的优势。
在64K输入级别的表现与顶尖模型GPT-4o、Claude-3.5-Sonnet等竞争力相当，变化微小，但从128K开始显现出明显的优势，并超越了所有基准模型。
LongBench-V2包括不同难度级别的问答任务，涵盖多种上下文类型，包括单文档和多文档、多轮对话、代码仓库和长结构化数据等。团队考虑了两种测试模式：不使用思维链推理（w/o CoT）和使用思维链推理（w/ CoT）。
MiniMax-Text-01在w/ CoT设置中实现了所有评估系统中的最佳结果，在w/o CoT中表现也很显著。
团队还用MTOB（ Machine Translation from One Book）数据集评估了模型从上下文中学习的能力。
该任务要求模型在英语和Kalamang（一种在公开数据中非常有限的语言）之间进行翻译，因此在训练语料库中，LLM仅从一部语法书的部分内容和375个翻译示例中学习该语言。
测试结果显示，MiniMax-Text-01在无上下文场景下eng→kalam (ChrF)得分最低，团队认为其它模型可能是在预训练或后训练数据中集加入了kalam相关数据。在delta half book和full book上，MiniMax-Text-01超过了所有模型。
在kalam→eng(BLEURT)得分上MiniMax-Text-01也与其它模型表现相当。
MiniMax-VL-01
MiniMax-VL-01采用多模态大语言模型常用的“ViT-MLP-LLM”框架：
-
一个具有3.03亿参数的ViT用于视觉编码
-
一个随机初始化的双层MLP projector用于图像适配
-
以及作为基础LLM的MiniMax-Text-01
MiniMax-VL-01特别具有动态分辨率功能，可以根据预设网格调整输入图像的大小，分辨率从336×336到2016×2016不等，并保留一个336×336的缩略图。
调整后的图像被分割成大小相同的不重叠块，这些块和缩略图分别编码后组合，形成完整的图像表示。
MiniMax-VL-01的训练数据涵盖标题、描述和指令。ViT从头开始在6.94亿图像-标题对上进行训练。在训练过程的四个阶段，处理了总计5120亿token。
最终，MiniMax-VL-01 在多模态排行榜上表现突出，证明了其在处理复杂多模态任务中的优势和可靠性。
网友们已开始第一波实测
得知新模型已在Hailuo AI上部署，网友们已紧忙赶往测试。
有网友使用相同的prompt将它和Gemini、o1对比，感叹MiniMax-01表现令人印象深刻。
下面这个测试也没能难倒它：
给我5个奇数，这些数的英文拼写中不包含字母“e”。
感兴趣的童鞋可以玩起来了。
技术论文：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
（文：量子位）