DisTrO分布式训练优化器

Nous Research推出Psyche Network去中心化训练网络，可以整合全球算力预训练40B参数LLM，并采用DisTrO优化器和自定义点对点网络堆栈突破带宽限制。