ZeRO-Adam

现高校LLM对齐研究课程介绍，涵盖手撕PyTorch五大并行算法DP、TP、PP、CP和EP，以及Backward梯度计算与重叠通信技术。课程内容丰富，提供多卡DeepSpeed RLHF训练及垂域大模型实操项目。