最优学习率

研究团队通过大规模训练和超参数优化发现了大语言模型的最优学习率与数据规模呈幂律变化的缩放法则。