MoE模型

从DeepSeek MoE专家负载均衡谈起

作者

上周同事分享了关于线上DeepSeek-R1推理的Expert激活数据的研究，发现专家负载不均衡现象。通过分析论文和内部请求数据，提出了一些关于MoE模型在不同场景下的应用观点，并讨论了细粒度MoE的重要性以及模型深度对Overlap的影响。

DeepSeek开源周五大兵器

作者

FlashMLA发布首日即引发广泛关注，通过智能调度大幅提升GPU利用率；DeepEP优化MoE模型通信效率；DeepGEMM实现高效FP8矩阵乘法，性能接近专家调优库；DualPipe+EPLB双剑合璧提升并行计算效率至30%以上；3FS文件系统进一步加速AI数据访问速度。