Transformer架构

小米入局大模型赛道！开源MiMo-7B，性能超o1-mini

作者

小米发布大模型MiMo-7B，参数70亿，在数学和代码测试中表现优异。MiMo-7B架构简单且效率高，通过MTP模块加速推理。训练数据集包含多种合成推理任务生成的数据，采用三阶段混合策略优化分布。后训练阶段通过SFT调整预训练模型，并使用高质量的强化学习数据提升性能。

大模型是怎么“思考”的？五分钟看懂大模型的底层逻辑！

作者

近年来ChatGPT爆火，让大语言模型走进大众视野。本文系统梳理了其原理、训练方式及其应用，涵盖数据、架构和训练三大要素，并展示了微调与实际应用场景，如客户服务、内容创作等。