从 0 手撕 LLM 分布式训练：DP, ZeRO, TP, PP, CP, EP
小冬瓜AIGC发布的X-R1开源框架课程，手撕PyTorch的五大并行算法DP、TP、PP、CP、EP，并实现分布式训练中的关键算法如Backward和MoE。该课程包含实操项目及多个测评工具，适合对LLM技术有兴趣的学员。
EP
DeepSeek开源第二天，主打一个硬核开源。
今天是DeepSeek开源周的第二天，Alibaba的QwQ-Max预览版引起了关注。DeepEP项目在GPU上实现了显著性能提升，并且已获1000+ GitHub星。DeepSeek强调硬件效率和低延迟通信，其新开源技术让数据传输和计算实现重叠。
