Meta首席科学家杨立昆最新判断：大模型并非AI全部，构建心智模型才是未来

作者

AGI何时到来？目前大语言模型发展是否遇到了瓶颈？在未来人工智能是否真的能威胁到人类呢？


Meta首席AI科学家、图灵奖得主、纽约大学教授扬·勒昆（Yann LeCun），在于加州大学圣地亚哥分校杰出物理学教授 Brian Keating 的专访中，对以上问题发表了自己的看法。

作为走在AI领域研究前沿的顶级科学家，世界上最好人工智能公司之一的首席科学家，扬·勒昆的个人见解无疑具备一定参考价值。

乌鸦君将扬·勒昆在专访中，关于AI的看法进行了梳理总结。希望对你有所帮助：

1）现有最好的大模型，不如猫聪明
2）大模型并非AI全部，构建心智模型是未来
3）自监督学习，无法预测自然材料
4）Jepa架构，有可能帮助大模型构建心智模型
5）自主监督学习，是人工智能中的暗物质
6）“人类水平人工智能”，至少需要五六年才能实现
7）没有绝对安全的系统，包括AGI
8）目标驱动型的人工智能，更安全

/ 01 /

现有最好的大语言模型，不如猫聪明


现有的最好的大型语言模型，确实能以令人惊叹的方式处理语言。

但因为，它们是基于纯粹文本进行训练的，所以对现实世界毫无理解。

它们对世界的认知，是通过人类对世界的表述来获取的，而这种表述首先是极具象征性的，而且是近似的、简化的、离散的。

现实世界更加复杂，现有的人工智能系统完全没办法应对现实世界。

例如，大型语言模型虽然能通过律师资格考试，但仍做不到像一个十岁小孩那样，轻松完成各种日常任务的家用机器人的原因。

关于十岁小孩的情况，放在猫身上也一样适用。

当你看到猫试图抓到感兴趣的东西时，它们会先坐下，观察一下，规划好路线，然后再跳过去。

它们能够进行规划、推理，理解现实世界，对自身以及自身的运动有很好的认知，对很多事物有着直观的物理认知。

这些都是我们目前用计算机无法复制出来的。

/ 02 /

大模型并非AI全部，构建心智模型是未来

现在很多人，把大型语言模型（LLMs）看作一把锤子，看什么都像是钉子，这是错误的。

我一直强调的，大型语言模型并非人工智能的全部。

虽然，大模型不仅概念简单，还有着惊人的能力，但也有局限性。

其中之一，就是对现实世界表征的理解，以及在现实世界中进行行动规划，大模型做不到。
所以，我认为未来几年人工智能将面临的重大挑战。

我们要超越目前这种自回归式的架构，向能够理解现实世界、具备常识、能像人类一样进行有意识推理的架构发展。

目前，应用于科学发现的人工智能系统不是大模型。大语言模型来做这些事，只会重复输出它们训练过的内容，没办法创造新的东西。

所以，用于科学发现的是一些专门的模型。

比如，你想要预测蛋白质的结构、预测两个分子之间的相互作用或者某种材料的特性，你就得为此开发专门的模型。

这些专门的模型，在某种意义上确实很强大，它们能够预测一些之前没人尝试过的化学反应，以及一些还没被制造出来的材料的特性等等。

所以，它们能在一定程度上突破常规，比大型语言模型强一些。

但就目前来说，人工智能做不到跟人一样有自己的思想，跟别说像爱因斯坦一样，有能力构建新物理规则。

其中的关键在于，如何给AI构建一个类似人类的心智模型。

人类在进行有意识推理时，会对世界如何运作有一个心智模型，能够想象我们的行动会产生什么结果，会造成什么影响，这就是我们能够进行规划的原因。

猫在行动前观察、规划路线的过程也一样，是在进行规划，它们对自己以及要跨越的物体都有一个心智模型。

/ 03 /

自监督学习，无法预测自然材料

人类以及动物，是通过什么样的过程来构建现实世界的模型的呢？

当我们想要对某个感兴趣的系统进行建模时，如何确定合适的表征方式以及相关变量呢？对于这个表征，什么样的抽象层次才是合适的呢？

举个例子，假如我们要预测木星接下来几个世纪的轨道。

其实，只需要知道6个数字，也就是3个位置坐标和3个速度分量就够了，不需要知道它的密度、组成、自转情况之类的其他信息。

进行预测最困难的一步就是找到对现实的合适表征，剔除所有无关的信息，这样才能做出预测。

大模型（LLM）中一种我倡导了很久的方法，叫自监督学习（self-supervised learning）。

自监督学习的基本思路是：输入任何东西，它可以是一个序列，也可以是一幅图像。

然后，以某种方式对它进行破坏，再训练系统从被破坏的版本中，恢复出完整的输入。

在语言相关的领域，尤其是大语言模型中就是这么做的。

在当前这批大语言模型出现之前，有一种做法是：拿一段文本，去掉其中一些词，用黑色标记代替或者替换成其他词。

然后，训练一个巨大的神经网络去预测缺失或错误的词。

在这个过程中，系统会学习到文本的一种良好的内部表征，这种表征可以用于各种潜在的应用。

比如，作为翻译系统、情感分析或者文本摘要等的输入。

现在，神经网络语言模型是这种方法的一个特例，它的系统架构设计成这样：

要预测输入中的一个词，系统只能看这个词左边的内容，也就是说，只能依据前面的词来预测当前这个词。

这样一来，就不需要再进行破坏文本的操作了。

因为，架构本身就相当于对系统做了限制，它阻止系统查看所有数据，只能看某个词左边的内容来预测这个词。

然后，当你输入内容，训练系统在输出端重现输入的内容，这就是自监督学习。

因为，这里并没有要求系统去完成某个特定的任务，输入和输出没有明确的区分，一切既是输出也是输入。

这种方法在处理语言以及DNA序列等，各种类似的离散序列数据时效果非常好。

但它本质上，只适用于像语言这样的离散事物序列。

毕竟，语言中字典里的单词数量是有限的，你虽然不能确切知道一个单词序列后面跟着的是哪个单词，但可以预测出一个所有可能单词的概率分布向量，也就是一个取值在0到1之间且总和为1的数字向量，这很容易做到。

那么，如何处理自然数据？比如从摄像头传感器获取的数据，也就是视频或者图像数据，该怎么办呢？

你可以试着用同样的方法，去训练系统重建完整的图像，但这种方法效果不太好。

我们想探究的就是，如果1899年就有了大语言模型，我们能不能预测出爱因斯坦的广义相对论呢？

答案是，至少就我们目前在机器学习中使用的这些模型类型来说，是做不到的。

原因在于，要预测像图像或视频这样的高维连续信号，很难表示出所有可能图像的概率分布。

当你预测一个单词时，虽然你不确定一个单词序列后面跟着哪个单词，但大概能猜个差不多。

如果是，正常的语言，不至于完全是胡言乱语，比如一个动词后面大概率跟着的是符合语法规则的词之类的。

但对于视频来说，你没办法这么做。

因为，哪怕是像我们现在这样的对话视频，我可能会说这个词，也可能说那个词。我的头和手也可能有不同的动作。

所以，如果系统要做一个预测，而且是基于预测误差最小化来训练的话，它就只能给出所有可能情况的平均情况。

那你看到的就是，我模糊的身体形象，这不是好的预测结果。

所以，通过重建或预测的自监督学习方法对自然信号不起作用。

/ 04 /

Jepa架构，有可能帮助大模型构建心智模型

过去几年，我一直在研究一种我认为能够做到这一点的架构，我们称之为JEPA（Joint Embedding Predictive Architecture）架构。

说到JEPA结构，关于（Jepa）架构，Jepa是联合嵌入预测架构（Joint Embedding Predictive Architecture）的缩写。

嵌入就是对一个信号的一种表示形式。

比如，对于一幅图像，你并不关心所有像素的精确值，而是关心一种能代表图像内容的表示形式，也就是一个数字向量，它并不包含图像的所有细节信息，这就是嵌入。

联合嵌入就是，如果你拿一幅图像，对它做一些变换，比如改变它的视角，图像的内容本身是不变的，那么它的嵌入表示应该是相同的。

所以，联合嵌入架构就是通过神经网络来训练，让它在看到同一事物的不同版本图像时，能产生相同的嵌入表示，也就是本质上相同的输出。

当你用这种架构来训练系统学习图像的表示时，效果非常好。

比如，你有关于木星的各种数据，然后，让系统找到这些数据的一种好的表示形式，剔除那些无法预测的信息，这样就能在这个表示空间里进行预测了。

也就是剔除像木星上，那些你没办法预测的天气之类的各种细节信息，只找到能让你在一定范围内进行预测的表示形式。

在我看来，这才是真正理解世界的本质所在，就像我们在做物理研究时一样，要找到一个现象的模型，剔除所有无关的东西，然后找到一组合适的相关变量来进行预测。

在这个过程中，基本上没有主观方面的因素的影响。

因为，当你采用这种架构时，至少按照我刚才简单描述的这种方式，在预测过程中就消除了随机性。

当系统接受这样的训练时，它会同时训练自己去找到一种对输入的良好表示形式，既能尽可能多地保留输入信息，又能保证是可预测的。

如果，输入中有一些不可预测的现象，比如混沌行为、随机的热涨落导致的粒子个体运动之类的。

它就会把这些对预测没用的信息剔除掉，只保留那些对预测有用的输入相关部分。

找到合适的抽象表示层次，既能帮助我们理解事物的运行原理，又能剔除所有无关细节，这才是智能的根源所在。

有一些技术人们已经研究了一段时间的，短期内可能会很有用，比如符号回归。

但我觉得这种方法，没办法产生我们刚才讨论的那种深刻的洞察力。目前缺少的东西更为根本，那就是构建世界心智模型的能力。

/ 05 /

自监督学习，是人工智能中的暗物质

我们所学的大部分知识，并不是通过别人告诉我们答案，或者通过试错的方式学到的。

则是通过自监督学习或者类似的方式，从感官输入的结构中学习到的。

我们其实并不确切知道人类和动物具体是用什么方式学习的，但感觉上更像是自监督学习，而不是监督学习或者强化学习。

强化学习是这样的：你给它展示一个东西，等它给出答案后，你只告诉它答案对不对，不告诉它正确答案是什么。

可能会给它一个分数之类的评价，然后系统就得在所有可能的答案中去搜索哪个是正确的，这种方式效率非常低。

根本没办法解释，我们在人类和动物身上观察到的高效学习现象，监督学习也解释不了，因为我们学到的大部分东西，都不是别人教给我们的，而是我们自己琢磨出来的。

很多物种都是这样，它们没见过自己的父母，却能变得很聪明，章鱼就是个很好的例子，鸟类以及其他很多物种也都是如此。

它们对世界了解很多，但从来没接受过谁的教导，然后就出现了我们现在称之为自监督学习的这种不太明确的事物，这其实才是学习行为的主体部分。

如果说，要量化不同学习模式的相对重要性的话，打个比方，就好比一块巧克力蛋糕，自监督学习就是蛋糕的主体部分，监督学习是蛋糕上的糖霜，强化学习就是蛋糕上的樱桃点缀。

我2016年说这话的时候，当时整个世界都在关注强化学习，大家都觉得强化学习会是通往人类水平人工智能的道路。

我不这么认为，我认为自监督学习才是。所以，当时这话挺有争议性的，不过现在就没什么争议了。

自监督学习，就是人工智能中的暗物质。

这就是我们得弄明白该怎么做的部分，我们现在的处境就跟物理学家面对暗物质时一样尴尬。

我们知道怎么进行监督学习和强化学习，但对于代表学习主体的自监督学习，我们还不太清楚该怎么做。

/ 06 /

“人类水平人工智能”，至少需要五六年才能实现


我相信未来会出现和人类一样聪明的人工智能系统，只是个时间问题。

但把它称作通用人工智能，这完全没道理。因为，人类的智能是高度专业化的。

所以，我更喜欢用“人类水平人工智能”或者“高级机器智能（Advanced Machine Intelligence，AMI）”这样的词。

如果，所有我们设想的计划都能顺利进行，我觉得至少也要五六年时间，才有可能实现，让大多数人觉得具有人类那种智能水平的系统。

不过，这只是在最理想的情况下，里面存在很大的不确定性。

人工智能的发展历史，就是人们总是低估它的难度，我们现在可能也犯着同样的错误。

我说五六年，前提是我们不会遇到一些之前没预料到的重大阻碍，而且我们计划尝试的所有东西都能实际发挥作用，计算机性能也能满足加速运算等需求，很多条件都得满足才行，这是最理想的情况了。

你可能听说过有些人，像山姆（Sam Altman）他们，说未来两年内就会实现之类的，根本不可能。

未来两年对于普通大众来说，可能出现的情况是，难以找到能被人类难倒的聊天机器人之类的情况。

但像家用机器人，能达到五级自动驾驶水平的汽车，这些都还远远没实现呢。

/ 07 /

没有绝对安全的系统，包括AGI

关于AGI会威胁人类的观点，里面有一个隐含的前提。

就是认为系统是智能的，它就会想要去掌控一切、占据主导地位，这种观点是完全错误的。

在人类社会中都不是这么回事，并不是我们当中最聪明的人就想当领导， 认为智能必然和统治欲相关联，这种想法就是错的。

要产生统治欲，或者说哪怕不是主观上想要统治，而是无意间占据了主导地位，那这个实体得有一种内在的驱动力。

比如，对资源的竞争欲，或者想要影响其他实体来从中获利之类的，而这是生物领域里社会性物种才有的特性。

在狒狒、黑猩猩、狼、狗以及人类这些社会性物种中，会有统治、服从这样的行为表现，不过在人类社会中，还有一种获取地位的方式，就是通过声望。

像章鱼这种动物，它们不是社会性的动物，而是独居的、有领地意识的，它们就没有统治别人的欲望。

所以，那种认为存在一种与智能相关联的内在统治欲的观点就是错的。

但是没有绝对。如果，按照大型语言模型（LLM）目前的能力去推测未来的话，那确实有理由感到害怕。

因为，从某种程度上来说，大型语言模型本身就是不安全的，它们虽然不是特别聪明，但它们输出内容的方式，是通过优化某个目标来实现的。

而不是通过去思考一系列能满足目标的行动来实现的，它们只是一个词接着一个词地往外输出，有点盲目，没怎么经过思考就输出了。

但为什么说这不安全呢？例如，我的孩子，她有时候可能会做出一些比较任性、不可预测的行为。

比如，等她长大了，她可能会坐在你腿上，在你电脑前乱敲键盘，把你的文件系统搞坏，但她不可能发动核战争，她没那个能力。

而且，人们也没那个能力呀，人工智能系统也不会有那种能力，除非我们在构建它的时候犯傻了。

我觉得，这就跟要证明一个涡轮喷气发动机绝对安全一样不可能。

我们虽然没办法证明，涡轮喷气发动机绝对安全，但我们可以制造出非常可靠的涡轮喷气发动机呀，能让飞机非常安全地飞越大半个地球，这就是技术的力量。

人工智能也是一样的，不会有什么神奇的一劳永逸的办法，能保证我们构建出绝对安全的系统，但我们可以通过工程手段不断去构建安全的系统。

/ 08 /

目标驱动型的人工智能，更安全


我觉得我们要构建的是目标驱动型的人工智能，这种人工智能产生输出结果的方式，不是简单地一个词接着一个词输出，而是通过针对一系列要采取的行动，去优化某个目标来实现的。

在这个系统的“思维”里，它对所处的情况或者想要作用的环境有一个心智模型。

它会想象一系列能达成目标的行动，通过这个行动序列以及心智模型，它能预测出结果会是怎样的，然后检查这个结果是否满足一系列目标。

这些目标里，其中一个可能是，我有没有完成人类设定的任务，比如制造一打回形针。

但可能还会有其他一些更像是约束条件、限制条件的目标。

好比是一种防护栏、警戒线，比如说，你要是伤害到别人，那就要付出很高的代价，或者采取某些行动会消耗过多的能量之类的情况，这些要考虑进去。

所以，你可以想象有一系列这样的目标，有些是警戒线性质的，有些是任务相关的目标，然后系统产生输出的方式就是在行动序列的空间里进行搜索，找到一个能让所有这些目标和警戒线都达到最优的方案。

这样的系统是没办法胡来的，除非你去破坏它，就像你可以通过给大型语言模型输入一些奇怪的提示语来突破它的限制一样，如果你想这么做的话。

但正常情况下，这种目标驱动型的系统能产生的输出，都是满足它基于内部心智模型所设定的那些警戒线要求的。

那要构建安全的人工智能，关键就在于如何让它对所处情况的心智模型尽可能准确，以及要设置什么样的警戒线，才能确保它不会失控，不会把整个星球都变成回形针之类的。

其实，这做起来并不难，我们知道怎么对人类制定规则，几千年来我们一直在给自己制定规则，法律就是一种警戒线性质的目标。

它告诉人们，你计划做的这个事，虽然对你来说好像挺好的，但要是做了，你就得坐牢之类的，这就改变了人们做事的成本考量。

人工智能可不会像人类一样选择无视这些警戒线，因为目标驱动型的人工智能从设计上来说，就必须要去优化这些目标，所以它没办法突破这些限制。


文/子恒‍

PS：如果你对AI大模型领域有独特的看法，欢迎扫码加入我们的大模型交流群。


（文：乌鸦智能说）

欢迎分享

发表评论