MiMo-7B

小米发布大模型MiMo-7B，参数70亿，在数学和代码测试中表现优异。MiMo-7B架构简单且效率高，通过MTP模块加速推理。训练数据集包含多种合成推理任务生成的数据，采用三阶段混合策略优化分布。后训练阶段通过SFT调整预训练模型，并使用高质量的强化学习数据提升性能。