MoE模型

DeepSeek开源第二弹，为MoE和EP量身定制的通信库！暂和英伟达显卡绑定

作者

DeepSeek开源第二弹来了！首个用于MoE模型训练和推理的开源EP通信库DeepEP提供高吞吐量和低延迟的all-to-all GPU内核，支持低精度运算包括FP8。性能方面涵盖高效和优化的all-to-all通信、NVLink和RDMA的支持、预填充任务和推理解码任务等。团队建议使用Hopper GPUs及更高版本Python 3.8及以上CUDA 12.3及以上PyTorch 2.1及以上环境，并提供详细的使用指南。

月之暗面开源改进版Muon优化器，算力需求比AdamW锐减48%，DeepSeek也适用

作者

OpenAI团队的优化算法Muon在更大模型和数据集上的应用效果被月之暗面团队验证，改进后的Muon对1.5B参数量Llama架构模型的算力需求仅为AdamW的52%，同时基于DeepSeek架构训练出一个16B的MoE模型并开源。