日期: 2025 年 1 月 15 日

MiniMax开源旗舰新模型：400万上下文、全新架构，性能比肩DeepSeek-v3、GPT-4o

作者

MiniMax-01系列包含两个模型：基础语言模型MiniMax-Text-01和视觉多模态模型MiniMax-VL-01。首次大规模扩展新型Lightning Attention架构，支持4M token上下文处理，并在基准测试中与顶级闭源模型表现相当。MiniMax-Text-01参数为456B，在Core Academic Benchmark上获得高分，MiniMax-VL-01采用ViT-MLP-LLM框架，覆盖多模态数据训练，性能突出。

仅缩小视觉Token位置编码间隔，轻松让多模态大模型理解百万Token！清华大学，香港大学，上海AI Lab新突破

作者

文章介绍了V2PE（Variable Vision Position Embedding），一种用于增强视觉-语言模型在长上下文场景表现的位置编码方法。通过实验验证了其有效性和优势，为视觉-语言模型的发展带来了新的机遇。