Profile-data
DeepSeek开源周第四弹!3大猛料一口气发完,梁文锋亲自贡献
DeepSeek开源三大优化策略:DualPipe、EPLB和profile-data。DualPipe实现并行算法减少训练空闲时间;EPLB平衡负载避免GPU闲置。
DeepSeek开源第四弹放大招:一口气放出并行计算优化三剑客「训练速度,GPU利用,优化经验」
DeepSeek 开源周第四天推出三剑客,包括DualPipe、EPLB和profile-data项目。DualPipe优化计算与通信重叠;EPLB实现专家并行负载均衡;profile-data提供模型训练和推理的性能分析数据。