Zero

Hugging Face发布了《Ultra-Scale Playbook》一书，介绍大模型训练中的5D并行性、ZeRO等技术，并分享了相关实验和工具的使用经验。