Adam获时间检验奖!清华揭示保辛动力学本质,提出全新RAD优化器

清华大学团队提出RAD优化器,该优化器通过神经网络与共形哈密顿系统的对偶性揭示了Adam的优化动力学机理,并提出了新的Relativistic Adaptive Gradient Descent (RAD)优化算法,实验表明其在多种强化学习任务中表现优于Adam。