驯服AI,更懂物理!何恺明团队提出全新DHN「去噪哈密顿网络」
何恺明团队提出去噪哈密顿网络(DHN),将哈密顿力学融入神经网络,突破传统局部时间步限制,并引入独特去噪机制,在物理推理任务中表现卓越。
何恺明团队提出去噪哈密顿网络(DHN),将哈密顿力学融入神经网络,突破传统局部时间步限制,并引入独特去噪机制,在物理推理任务中表现卓越。
Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。
何恺明和LeCun团队提出替代Transformer归一化层的DyT方法,其性能达到或超过标准Transformer。通过几行PyTorch代码实现,适用于多种任务和模型架构。
何恺明团队提出一种结合哈密顿神经网络的去噪方法,旨在让AI更懂物理。该方法采用Block-wise哈密顿量和掩码建模策略来改进传统HNN,并通过实验展示了其在正向模拟、表征学习和轨迹插值任务中的优势。
MIT副教授何恺明的新研究揭示,尽管过去十多年里业界为构建更大、更多样化数据集做了努力,但现代神经网络似乎越来越善于‘识破’并利用这些数据集中潜藏的偏差。此发现引发对消除数据集偏差是否已取得胜利的质疑。
何恺明团队入驻MIT后公布的研究成果包括使用连续标记的Fluid模型刷新FID和GenEval分数的文本到图像生成,以及跨不同机器人的异构预训练架构HPT。博士生邓明扬在竞赛中表现出色,黎天鸿负责表示学习和生成模型研究,并担任ICLR 2025区域主席。团队还包括白行健和Jake Austin等成员。