并行技术选择与组合

在模型大小和Batch Size确定后，通过实验逐步调整并行技术组合以优化训练吞吐量。讨论了不同配置下的内存、通信瓶颈以及节点数量增加对效率的影响，并强调了实际实验设计中的挑战与教训。