DiLoCo

谷歌团队提出了一种新的分布式训练方法DiLoCo，该方法旨在解决超大规模语言模型（LLMs）的训练挑战。研究表明，DiLoCo在保持模型质量的同时能够显著提高扩展性，并且具有可预测和稳健的优势。