图灵奖得主杨立昆谈 DeepSeek 及 AGI:开源即一切

在 DeepSeek 激起千层浪的时刻,作为技术开源最忠实的拥趸,杨立昆为 Deepseek 发声:
「与其说是中国在人工智能上超越美国,正确的看法应该是开源代码正在超越私有模式。DeepSeek 从开放研究和开放源码中受益(例如来自 Meta 的 PyTorch 和 Llama),提出了新想法,并将它们建在其他人的工作之上。而因为他们的作品也是开源的,每个人都可以从中获益。这就是开放研究和开放源代码的力量。」
杨立昆一直不遗余力地强调 AI 竞争中「开源」的重要性,在前阵子他参加由约翰霍普金斯大学举办的讲座上,面对硅谷知名记者 Kara Swisher,他仍然用到了 PyTorch 和 Llama 作为例子。同时,他的语出惊人也没有改变,分享了许多别具一格的观点:
一昧给 AI 研究和开发加限制,企图用这种方式避免危害,是一种适得其反的做法,是出于 AI 技术的错误理解。
人类认为语言是智能的顶峰有点违反直觉。它实际上很简单,因为它只是一系列离散的符号。人工智能不应该局限于语言。
目前为训练大模型而烧的钱不冤枉,那是面向未来的长期投资。
以下为访谈内容整理,有所删减与编辑。 
关注 AI 第一新媒体,率先获取 AI 前沿资讯和洞察
Kara Swischer:对于那些不知道 AI 已经和我们相处了有一段时间的人来说,现在来到了一个认识它时刻。你是 Meta 的首席科学家,负责监督世界上一些资金最充足的 AI 研究。作为一名科学家,你也非常直言不讳,是社交媒体上最有趣的人,不是很多科技行业的人在这样做,我希望你谈谈你为什么这样。
Yann LeCun:你知道,我是一名科学家。我是 Meta 的教授和高管,我非常高兴在 Meta 我可以有独立的声音。这也反映在我在 Meta 的研究实验室里,我们以开源方式发布我们所做的东西,我们对事情和观点都非常开放。
Kara Swischer:为什么你去了 Meta 这样的地方,而不是一所研究型大学或其他地方,你的影响力是什么?
Yann LeCun:我也有自己的学术道路。我是纽约大学的教授,当扎克伯格 11 年前来找我时,我一直在纽约大学任职,他要求我为 Meta 创建一个基本上只是 AI 的研究实验室,这个愿景将产生重大影响。
我告诉他,我只有三个条件:我不会离开纽约,我不会辞掉在纽约大学的工作,我们要做的所有研究都将公开,我们将发布我们所做的一切。他都答应了。
我在那里有机会从零开始创建一个工业研究机构,并基本上以我认为合适的方式来塑造。我在这方面有一些经验,我在贝尔实验室的职业生涯就是这样开始的。所以我对如何在行业中进行雄心勃勃的研究有一些经验,所以我认为这是最令人兴奋的挑战。
Kara Swischer:许多研究都是在学术界进行的,早期的计算机研究已经完成,现在已经远离了学术界。你现在的工作都在做什么?
Yann LeCun:我喜欢科研,在我的职业生涯中,我有很多机会成为 AI(工程师)。在 Meta 四年后,我成为了首席科学家,现在这是一个顶好的工作:我是高级副总裁,但没有人要向我汇报,没有一个团队需要我来带。
Kara Swischer:从你的角度来看,对于 AI 的监管应该是什么样的?
Yann LeCun:在过去的两年里,人们一直在争论,随着 AI 变得更加强大,它是否变得危险——不是产品危险,而是技术本身。因此,是否应该有一些法规来限制 AI 系统。我一直反对这种想法,限制研究和开发非常适得其反,它是基于对 AI 潜在能力的错误思考。
AI 将会接管世界或者其他什么的,我们离这个目标还很远。所以眼下任何的开发和规范研究,都是适得其反。关于 AI 安全是重要问题,是值得和需要讨论的问题,但是对自由竞争的限制完全不合理 。
Kara Swischer:最近有许多大公司都在开展 AI 代理的产品或者功能,我想了解一下 Meta 在这方面的进展。你们发布了 Llama 3.3,跟其它型号比它怎么样?
Yann LeCun:Llama 跟多数其它大模型之间的区别在于它是免费和开放的,你可以修改、编辑和使用它。在绝大多数许可中,如果你对模型进行了一些修改并且想在产品中使用,你也必须以源代码的形式发布你的修改。这样可以让软件快速发展。
多年来,开源软件作为分发软件的一种方式取得了惊人的成功,整个互联网都运行在开源软件上,世界上许多计算机都运行在 Linux 上,几乎所有计算机都运行在 Linux 上,除了一些台式机和一些 iPhone,你的车里可能有 10 台计算机运行 Linux。这不是靠设计,只是市场力量自然而然地推动行业选择开源。
现在是 AI 时代,是否开源的问题很复杂,因为当你构建 AI 系统时,首先,你必须收集训练数据。其次,你必须在数据上训练所谓的基础模型,并且训练代码和数据通常是不分发的。因此,例如,Meta 不会分发训练数据,也不会分发训练代码,分发的是经过训练的基础模型。它带有开源代码,这允许您运行系统并在任何您想要的地方进行微调,而且你不需要支付 Meta 费用,也不需要询问。
Kara Swischer:那为什么更好呢?你提出了所有其他人都不是的论点,他们是封闭的系统。有一些开源的,但大公司都闭源了。
Yann LeCun:可能是为了获得商业优势,比如,如果你想直接从这种类型的产品中获得收入,并且你认为你在技术上领先,或者你认为你可以在技术上领先,你的主要收入来源将来自这些服务。那么也许有一个观点是要保持你的壁垒。但对于 meta,情况并非如此。对于 Meta,AI 工具是一整套体验的一部分,这些体验都由广告资助,因此不是主要的收入来源。另一方面,我们认为平台会发展得更快。事实上我们已经看到这一点(的效果),而且是更具创新性的。
Kara Swischer:有一种批评声音是你们落后了,而(开源)是你们追赶的方式。
Yann LeCun:现在是一场全新的竞争,对吧。首先你必须意识到,除了谷歌之外,行业中的每个人都使用名为 PyTorch 的开源软件平台来构建 AI 系统,该平台主要是在 Meta 开发的。Meta 将其所有权转让给了 Linux 基金会。所以它不再由 Meta 拥有,但是 OpenAI,Anthropic,每个人都使用 PyTorch。如果没有 Meta,就不会有 ChatGPT 和 Claude,以及所有其它东西一样,或者不会达到今天的程度。
OpenAI 在不保密的时候做出了一些贡献,Google 在某种程度上开放出来了,虽然不是完全,但是 Anthropic 从未公开过,他们试图秘密地推进这项技术。我认为我们可能要承认,Meta 是一个相当大的研究组织,叫做 FAIR,以前意思是 Facebook AI Research(Facebook 人工智能研究院),现在意思是 Fundamentally AI Research(基础人工智能研究院)。那里有 500 人,我们正在研究的是真正的下一代人工智能系统,超越大语言模型,超越聊天机器人。
Kara Swischer:你管它们叫 LCM(Large Concept Model),一种新模型对吗?
Yann LeCun:那只是某一部分。过去,有些人有这样的想法:把模型放大,并且用更多的数据和更多的计算来训练它们,某种程度上,人类水平的智能将从中产生。我从来不相信这个概念。Ilya 是著名的那个概念的信仰者。现在,显然不再是这样了,对吧?
在本月召开的 NeurIPS 大会上,Ilya表示预训练即将终结
Kara Swischer:我们已经到达终点,没有更多的数据了,是吗?
Yann LeCun:很明显,我们在这些系统的性能上已经达到了一个天花板,因为我们基本上已经用尽了自然数据,就像互联网上所有公开可用的文本目前都被用于训练所有这些 LLMs 一样。所以人们在生成合成数据之类的东西。所以它达到了饱和,我们正在研究的基本上是下一代人工智能系统,不仅仅是基于预测下一个单词。
一个大语言模型之所以被称为大型语言模型,因为它基本上是被训练来预测你收集的文本中的下一个单词,通常大约 20 万亿个单词,这是互联网上所有公开可用的文本,经过一些过滤,你训练一个巨大的神经网络,其中包含数十亿或数千亿的可调参数,以预测下一个给定几千字序列的单词。
你真的能预测下一个会出现的词吗?你永远无法完全做到这一点,但这些系统所做的,基本上是预测单词的概率分布,因此你可以使用它来生成文本。这就是它的自回归部分,你向系统提供一个单词序列,它会预测下一个单词。
很多行业人士一直在努力对这些系统进行微调、训练它们完成特定的任务,而不是产生废话,并且还可以询问数据库或搜索引擎,它们实际上并不知道答案。因此,你必须拥有能够检测它们是否知道答案的系统,然后可能生成多个答案,然后挑选哪些是好的。但最终,这不是未来系统的工作方式。
Kara Swischer:上周 Meta 发布了 Motivo,它基本上是冲着数字化身去的。因此我理解它还是想在元宇宙当中做点什么。我不太理解,可是有很多热钱涌动。
Yann LeCun:好的,我可以讲讲智能眼镜的秘密,它有摄像头,你微笑的时候我可以拍照下来。这是我们目前的水平,跟 Google Glass(差不多),但这是一个比较低的门槛。
五年,或者十年之后,我们将要使用的智能眼镜,或者其它设备,它们将配备人工智能助手,我可以和 Meta AI 交谈。这些东西将在日常生活中帮助我们。我们需要这些系统具备基本上类似人类的智能,人类水平的智能,甚至在许多方面具有超人智能。
Meta 与雷朋合作推出的智能眼镜
现在我们知道如何达成了吗?还很远。有些人让我们相信我们真的接近所谓的通用人工智能,实际上我们还很远——当我说很远,不是按世纪算,也不是按十年算,但或许是几年。
现在我们能看到的是,一些类型的任务(是可以完成的)。我们有可以通过律师资格考试或一些大学考试的大模型,但是打扫房子、清理餐桌的家用机器人在哪里?我们没有。并不是因为我们做不了机器人,我们就是不能让他们足够聪明,无法让他们理解物理世界。
事实证明,对于 AI 系统来说,物理世界更难理解这种语言。语言很简单。我的意思是,人类认为语言是智能的顶峰有点违反直觉。它实际上很简单,因为它只是一系列离散的符号。
所以我们正在研究的基本上是一种新的架构和新系统,它们理解物理世界,并学会像婴儿和年轻动物那样理解物理世界,基本上通过观察世界并在其中行动。这些系统最终将能够计划一系列的行动,以实现特定的目标。
因此代理系统是一个可以计划一系列行动、以达到特定结果的系统。现在,每个人都在谈论的系统实际上并没有实现,可能可以实现一点点。他们可以学习计划的模板。
Kara Swischer:据报道 Meta 正在开发 AI 搜索引擎,跟 Google 竞争。这是真的吗,你认为这重要吗?
Yann LeCun:嗯,智能助手中一个显然需要具备的组成部分是搜索功能。你希望能够搜索信息,对吧,并且链接到这些信息的来源,这样与之交流的人就会信任结果。搜索引擎是整个完整的人工智能的一个组成部分。所以目标不一定是直接和 Google 进行竞争,而是为需要 AI 系统的人们提供服务。
Kara Swischer:大多数人认为 Meta 在人工智能竞赛中落后,尤其是在 ChatGPT 的热潮下。然而,马克·扎克伯格表示 Meta 拥有近 6 亿月活跃用户,并有望在年底前成为全球使用最广泛的人工智能。这与人们在 ChatGPT 上所做的非常不同,ChatGPT 是一个独立的应用程序,或者用于搜索。那么,除了提高广告效率之外,搜索对你们来说意味着什么?从你和 Meta 的角度来看,这对 Meta 意味着什么?
Yann LeCun:这个背后的愿景是:一个人人都将随时拥有一个智能助手的未来。我的意思是,这是一个全新的计算平台,对吧?以前我们称之为元宇宙。那些眼镜最终将配备增强现实显示屏。实际上,Orion 项目最近已经展示了这一点。我们现在还无法以足够低的成本制造它们,因此暂时无法销售。但最终它们会出现的。这就是那个愿景,最长远的愿景。
Kara Swischer:很好。但目前人力助手的成本要低得多。我想 Meta 目前预计将花费 380 亿到 400 亿美元。Google 表示今年将花费超过 510 亿美元。分析师预测微软的支出将接近 900 亿美元,支出过多。你是否担心超支?而且为我提供一个更智能的助手似乎并不是一个很好的商业模式
Yann LeCun:这是一个长期投资。我的意思是,你需要有基础设施才能运行那些人工智能系统,以便为越来越多的人提供合理的速度。正如你所说,目前有 6 亿人在使用 Meta AI。顺便提一下,还有一个有趣的数字,Llama 已经被下载了 6.5 亿次。这是一个惊人的数字。我不知道这些人都是谁,但这确实是一个惊人的数字,有 85,000 个从 Llama 衍生出来的项目已经公开发布,全部开源,主要分布在世界的各个部分。这些项目中很多基本上是在训练 Llama,例如,让它能够说来自塞内加尔、印度的一些语言。
Kara Swischer:所以你认为这些钱花得不冤枉?
Yann LeCun:不冤枉。因为在一两年内,每天使用这些 AI 系统的人将会非常多,然后还会增加。如果这些系统更强大,它们就更有用。而且它们越强大,在计算上就越昂贵。所以这项投资是对基础设施的投资。
Kara Swischer:基础设施由私人公司建设。你提到,将专有 AI 模型集中在少数几家公司手中是一个巨大的危险。显然,对开源模式也有批评声音。他们担心不良行为者可能利用这些模型传播虚假信息、进行网络战争或生物恐怖主义。鉴于 Meta 以开源方式提供这些强大的工具,Meta 是否在防止这些问题发生方面也有所作为?
Yann LeCun:2023 年初我们开始分发 Llama 时,第一个 Llama 不是开源的。你必须征得许可,并且必须证明你是一名研究员。这是因为法律环境是不确定的,我们不知道人们打算怎么做。
但是后来我们所有人都收到了很多来自行业的请求,比如,你必须开源下一个版本,因为这将造福整个行业,将使许多初创公司和各种新产品和新事物成为可能。
所以我们内部进行了几个月的大型内部讨论,每周讨论两小时,包括扎克伯格在内的 40 个人进行了非常严肃的讨论,关于安全,关于监管环境,关于各种问题。然后在某个时候,马克决定说,好的,我们要开源。那是 2023 年的夏天,从那以后,它基本上成为整个行业的宝藏。
Kara Swischer:为什么这样做是更安全的?
Yann LeCun:因为有更多的关注在上面,有更多的人在微调它们以适应各种各样的问题。也许很多蓄意作恶的人会把手放在上面,把它们用于糟糕的目的。
Kara Swischer:你不认为这是 Meta 的责任,你们就是开放了出来,是用工具的人的问题。
Yann LeCun:在某种程度上。我们推出的所有系统背后都付出了巨大的努力,确保至少在出来的时候基本上是安全的。我们甚至最初将 Llama 交给了 Defcon 的一群黑客,我喜欢看他们尝试用它做一些不好的事情,尝试入侵一个系统之类的。我的意思是,你必须做一个叫做白帽子的事情,结果是我们在过去近两年中分发的任何模型,都没有做过任何真正糟糕的事。
Kara Swischer:我留意到你发表了一些关于数据的观点,在网上也遭到了很多批评。大概你是在回应哈佛发布的新数据集,这个数据集由超过一百万本书组成,但那些都是公共领域的作品,不是活着的作者、艺术家、学者的作品。请谈谈你对于这些 AI 模型在没有给予创作者、作家、研究人员任何信用的情况下吸收了我们所有文化知识所造成的担忧和批评。互联网公司以抓取数据著称。我记得有人之前管 Facebook 叫做「贪婪的信息窃贼」,当然也可能是在说 Google。
Yann LeCun:好的,除了所有这些法律问题之外,如果你认为人工智能将成为所有人类知识的仓库,那么所有人类知识都必须可用于训练这些模型,对吗?大部分知识要么尚未数字化,要么已经数字化但未公开提供,这不一定是受版权保护的材料,比如法国国家图书馆的内容,其中许多已经数字化,但不适合用于训练。
法国国家图书馆
所以,我说的并不一定是受版权保护的作品,更像是,比如说,我父亲的家族来自法国西部的布列塔尼。那里曾经使用传统语言,到我的曾祖父、父亲和我这一代人,这门语言正在消失。每天大约有 3 万人使用这种语言,数量非常少。
如果你希望未来的 Llama 能够说 这种语言,就需要有足够多的训练数据。你将从哪里获取这些数据呢?有文化非营利组织,收集他们拥有的各种资料,也许政府会提供帮助,诸如此类,他们会说,「使用我的数据,我希望你的系统能说这种语言」。
现在,他们可能不愿意将这些数据直接交给美国西海岸的大公司,但我设想的未来(这不是公司的政策,而是我的观点)是,达到那个水平的最佳方式是通过训练一个 AI 系统。一个通用的 AI 系统以分布式的方式存储人类知识,这样世界各地的几个数据中心可以使用本地数据来贡献训练一个全球系统。
Kara Swischer:谁来运作这个全球系统?
Yann LeCun:谁写了 Linux?谁为维基百科付费,对吧?
Kara Swischer:我每个月都付 7 美元给它。
Yann LeCun:那很好,所以你看到像 Linux 这样的,是由许多公司的员工、工程师共同维护的。你可以有一个类似的系统,每个人都为这种全球模式做出贡献。
Kara Swischer:短期来看不太能变现。
Yann LeCun:你不会给 Linux 花钱,但你如果买了一个像 Android 一样运行 Linux 的设备,或者购买了触摸屏上有 Linux 的汽车,你也是在付费了。
Kara Swischer:我觉得这是一种联合少数的力量去推动发生的,从这一点上看愿景是美好的,但不见得会发生。
Yann LeCun:我的观点是,这会不可避免地发生。
 
访谈原文:https://www.youtube.com/watch?v=UmxlgLEscBs

(文:APPSO)

欢迎分享

发表评论