何恺明等新作大道至简,瞬时速度改为平均速度,一步生成表现提升70%
CMU博士生耿正阳等人提出的新模型MeanFlow无需预训练或课程学习,一步生成ImageNet图像便达到3.43的FID值,显著优于现有技术。
CMU博士生耿正阳等人提出的新模型MeanFlow无需预训练或课程学习,一步生成ImageNet图像便达到3.43的FID值,显著优于现有技术。
大神何恺明发布新作《Mean Flows for One-step Generative Modeling》,提出一种名为 MeanFlow 的单步生成建模框架,通过引入平均速度的概念,在 ImageNet 256×256 数据集上取得了显著优于以往单步扩散/流模型的结果,FID 分数达到3.43。
何恺明团队提出去噪哈密顿网络(DHN),将哈密顿力学融入神经网络,突破传统局部时间步限制,并引入独特去噪机制,在物理推理任务中表现卓越。
Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。
何恺明和LeCun团队提出替代Transformer归一化层的DyT方法,其性能达到或超过标准Transformer。通过几行PyTorch代码实现,适用于多种任务和模型架构。
何恺明团队提出一种结合哈密顿神经网络的去噪方法,旨在让AI更懂物理。该方法采用Block-wise哈密顿量和掩码建模策略来改进传统HNN,并通过实验展示了其在正向模拟、表征学习和轨迹插值任务中的优势。
MIT副教授何恺明的新研究揭示,尽管过去十多年里业界为构建更大、更多样化数据集做了努力,但现代神经网络似乎越来越善于‘识破’并利用这些数据集中潜藏的偏差。此发现引发对消除数据集偏差是否已取得胜利的质疑。
何恺明团队入驻MIT后公布的研究成果包括使用连续标记的Fluid模型刷新FID和GenEval分数的文本到图像生成,以及跨不同机器人的异构预训练架构HPT。博士生邓明扬在竞赛中表现出色,黎天鸿负责表示学习和生成模型研究,并担任ICLR 2025区域主席。团队还包括白行健和Jake Austin等成员。