DeepSeek Profile Data:深度剖析计算与通信重叠策略

DeepSeek Profile Data:深度剖析计算与通信重叠策略,助力高效训练与推理,旨在分析 V3/R1 版本中计算与通信重叠的策略,并提供了详细的性能分析数据。亮点:

  1. 提供V3/R1的训练和推理框架的深度剖析数据;

  2. 使用PyTorch Profiler采集数据,可直接在浏览器中可视化;

  3. 模拟平衡的MoE路由策略,优化性能

参考文献:
[1] http://github.com/deepseek-ai/profile-data



(文:NLP工程化)

发表评论