重磅论文!何恺明、Yann LeCun等改造Transformer,CVPR 2025已收录

Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。

LeCun力荐!进化算法淘汰77%低质数据:RIP方法让模型性能狂飙60%

Meta等机构提出的新方法RIP通过进化算法筛选低质量数据,提高LLM性能。基于两个假设:无效提示会导致不准确响应和复杂模糊的提示产生多种解释。RIP方法成功筛选高质量提示,提升模型在多个基准上的表现。

DeepSeek综合征?Yann LeCun:硅谷存在一种“错位的优越感”

著名人工智能科学家Yann LeCun批评硅谷某些圈子存在的错位优越感,并将其分为三个阶段的症状:早期、中期和晚期。他认为科学和技术的进步需要更多人参与并积极分享创新成果,强调了开放共享的重要性。

Meta首席科学家LeCun:新一代AI架构3到5年内问世 机器人技术是核心

Meta首席AI科学家Yann LeCun预测未来几年内将出现新的AI架构范式,并认为机器人技术可能成为下一波AI应用的核心。他指出当前的生成式AI和大型语言模型(LLMs)寿命较短且存在不足,如缺乏对物理世界的理解、持久记忆、推理能力和复杂规划能力。

能模拟5亿年进化模型ESM3,今天免费开放API,Yann LeCun力推

文章介绍了Evolutionaryscale发布的ESM3生物模型,该模型拥有980亿参数,能够同时处理蛋白质的序列、结构和功能。ESM3在原子级别上生成新蛋白的能力引起了广泛关注,并且免费开放API促进了科学研究加速。