刚刚2岁的Llama,「爸妈」都跑了!小扎手拆Meta AI,LeCun保持独立
Meta决定重组AI团队以应对人才流失、竞争对手压力和技术停滞等问题,旧研发体系被拆分为AI产品团队、AGI基础团队和AI研究部门,Yann LeCun领导的FAIR团队仍保持独立。Llama系列面临翻车及跳票问题,外部人才持续流出影响Meta的研发节奏。
Meta决定重组AI团队以应对人才流失、竞争对手压力和技术停滞等问题,旧研发体系被拆分为AI产品团队、AGI基础团队和AI研究部门,Yann LeCun领导的FAIR团队仍保持独立。Llama系列面临翻车及跳票问题,外部人才持续流出影响Meta的研发节奏。
Meta FAIR新负责人Rob Fergus回归,并接替离职的前一任负责人Joelle Pineau。FAIR的新目标是高级机器智能(AGI)。Rob Fergus是一位多产学者,曾在谷歌DeepMind和Facebook AI Research实验室工作。
AI泰斗Yann LeCun批评大语言模型仅靠文本训练无法达到人类水平,指出视觉数据量远超文字。LeCun认为未来需关注多模态和现实世界理解能力,而不仅仅是信息量大小。
Meta首席AI科学家Yann LeCun表示不再对大语言模型感兴趣,认为它们并非通往真正人工智能的正确路径。他指出大语言模型缺乏理解物理世界的能力,没有持久记忆,并且无法进行真正的推理和复杂规划。
研究者提出了一种新的视觉自监督学习模型Web-SSL,它能够在不依赖语言监督的情况下,在大规模数据集上与CLIP模型媲美,并在多种视觉问题解答任务中表现出色。
Meta首席AI科学家LeCun断言大语言模型永远不会成为真正的人工智能。他强调LLM无法达到人类水平的AI,并指出当前架构本质上无法进行真正的推理。
Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能,通过动态双曲正切函数(DyT)替代传统归一化层,有望进一步改进AI模型性能。
Meta等机构提出的新方法RIP通过进化算法筛选低质量数据,提高LLM性能。基于两个假设:无效提示会导致不准确响应和复杂模糊的提示产生多种解释。RIP方法成功筛选高质量提示,提升模型在多个基准上的表现。
著名人工智能科学家Yann LeCun批评硅谷某些圈子存在的错位优越感,并将其分为三个阶段的症状:早期、中期和晚期。他认为科学和技术的进步需要更多人参与并积极分享创新成果,强调了开放共享的重要性。