重磅论文!何恺明、Yann LeCun等改造Transformer,CVPR 2025已收录

Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。

何恺明带队驯服AI更懂物理!去噪方法+哈密顿网络,清华校友一作

何恺明团队提出一种结合哈密顿神经网络的去噪方法,旨在让AI更懂物理。该方法采用Block-wise哈密顿量和掩码建模策略来改进传统HNN,并通过实验展示了其在正向模拟、表征学习和轨迹插值任务中的优势。

ICLR 2025 高分论文!何恺明和刘壮提出:数据集偏差的十年之战

MIT副教授何恺明的新研究揭示,尽管过去十多年里业界为构建更大、更多样化数据集做了努力,但现代神经网络似乎越来越善于‘识破’并利用这些数据集中潜藏的偏差。此发现引发对消除数据集偏差是否已取得胜利的质疑。

何恺明MIT开门弟子名单公开:奥赛双料金牌得主、清华姚班学霸在列

何恺明团队入驻MIT后公布的研究成果包括使用连续标记的Fluid模型刷新FID和GenEval分数的文本到图像生成,以及跨不同机器人的异构预训练架构HPT。博士生邓明扬在竞赛中表现出色,黎天鸿负责表示学习和生成模型研究,并担任ICLR 2025区域主席。团队还包括白行健和Jake Austin等成员。