DeepSeek Profile Data:深度剖析计算与通信重叠策略,助力高效训练与推理,旨在分析 V3/R1 版本中计算与通信重叠的策略,并提供了详细的性能分析数据。亮点:
-
提供V3/R1的训练和推理框架的深度剖析数据;
-
使用PyTorch Profiler采集数据,可直接在浏览器中可视化;
-
模拟平衡的MoE路由策略,优化性能



参考文献:
[1] http://github.com/deepseek-ai/profile-data
(文:NLP工程化)
DeepSeek Profile Data:深度剖析计算与通信重叠策略,助力高效训练与推理,旨在分析 V3/R1 版本中计算与通信重叠的策略,并提供了详细的性能分析数据。亮点:
提供V3/R1的训练和推理框架的深度剖析数据;
使用PyTorch Profiler采集数据,可直接在浏览器中可视化;
模拟平衡的MoE路由策略,优化性能
参考文献:
[1] http://github.com/deepseek-ai/profile-data
(文:NLP工程化)