DeepSeek 开源周第四弹:双向流水并行与专家并行负载均衡器!一次开源三个项目!

DeepSeek开源周第四弹来了!他们发布了DualPipe、EPLB两个新组件以及训练和推理框架的性能分析数据。DualPipe通过双向流水线提高计算效率,EPLB则实现专家并行负载均衡,共同提升模型在不同GPU之间的协同表现。