得州大学奥斯汀分校

研究人员提出Cautious Optimizers优化器，在不损害训练效果的情况下提升了大模型的训练效率47%，该优化器已在GitHub上开源。它通过引入掩蔽机制来避免参数更新方向与当前梯度方向相悖，从而加速了训练过程并保持了收敛特性。