DeepSeek开源的EPLB:用于专家并行负载均衡的开源算法

DeepSeek开源的EPLB(Expert Parallelism Load Balancer):用于专家并行负载均衡的开源算法,旨在优化使用多个 GPU 进行深度学习模型训练时的负载分配。亮点:

  1. 高效负载均衡,提升训练效率;

  2. 支持层级和全局两种负载均衡策略,灵活适配不同场景;

  3. 开源代码助力快速部署,加速AI模型训练。

参考文献:
[1] https://github.com/deepseek-ai/EPLB



(文:NLP工程化)

欢迎分享

发表评论