扩散模型

谷歌发布Genie 2世界模型，支持响应键鼠操作、长期记忆及NPC交互，生成3D游戏世界。该技术可用于训练具身智能体，迈向AGI。对比前代，Genie 2在复杂环境生成上取得了进展。

NeurIPS 2024最佳论文出炉，3篇华人一作。其中，《Visual Autoregressive Modeling》提出了一种新的图像生成框架，能显著超越现有的自回归模型和扩散模型；《Stochastic Taylor Derivative Estimator》展示了高效算法优化神经网络损失函数，并提供了内存减少和速度提升；《Not All Tokens Are What You Need for Pretraining》引入了选择性语言建模方法提升了预训练性能；《Guiding a Diffusion Model with a Bad Version of Itself》提出自引导方法提高图像生成质量。