马斯克:Grok 3训练使用了大量合成数据

 Datawhale分享 
对谈:Elon Musk,编译:数字开物
2月13日,马斯克和阿联酋人工智能国务部长 Omar Sultan Al Olama 在迪拜举行的 2025 年世界政府峰会全体会议上进行对谈。

对话中马斯克透漏,Grok 3 正处于最后润色阶段,预计将在“大约一两周内”发布,Grok 3 具有“非常强大的推理能力”,并且优于他们所知的任何已发布的模型。他认为,未来人形机器人和深度 AI 相结合将导致“无限的产品和服务”。

此外,他还批评当前 OpenAI 的状态是“封闭以追求最大利润的 AI”,认为这背叛了其创立原则,警告如果 AI 开发不以适当的价值观(如真理和好奇心)为指导,可能会出现反乌托邦的结果。


以下是本次对话AI主题相关实录,经翻译编辑:

Omar Sultan Al Olama:我们可以转到人工智能方面吗?我相信你已经关注到DeepSeek  的进展,以及他们宣称取得的成就。我知道我们已经讨论 Grok 3一段时间了,而且普遍认为 Grok 3将在人工智能领域带来颠覆性变革。我们何时能看到 Grok 3问世?我们可以期待 Grok 3具备哪些能力?

Elon Musk:Grok 3 具有非常强大的推理能力。在目前为止我们进行的测试中,Grok 3 的性能超越了我们所知的任何已发布模型。这是一个非常好的迹象。实际上,有时我认为 Grok 3 聪明得令人有些害怕。你会觉得,哇,这东西真聪明,有点吓人。Grok 3 真的是很厉害,它能提出你甚至没有想到的解决方案,那些并非显而易见的方案。Grok 3 是用极大的算力进行训练的,而且我认为训练效率非常高。值得注意的是,Grok 3 还使用了大量的合成数据进行训练。它在数据中反复迭代,力求实现逻辑上的一致性。因此,如果数据存在错误,它实际上会进行反思,并删除那些与现实不符的错误数据。因此,它的基础推理能力非常出色。事实上,即使未经微调,Grok 3 的基础模型也优于 Grok 2。所以,我们目前正处于 Grok 3 的最后优化阶段。它很可能会在一到两周内发布,很快就会面世。我不想匆忙发布,因为最后的优化对于提供卓越的用户体验至关重要。在某种程度上,你可以将其比作建造房屋,最后 5% 的工作,比如完成石膏板、油漆和装饰,虽然工作量不大,却能让房屋焕然一新。是的。所以,我们只是想确保这最后的 5% 能够做到尽善尽美。大概一周,最多两周的时间。我认为它会非常出色。我们认为这可能是目前最好的 AI 模型,甚至有可能是最后一款超越 Grok 的 AI 模型。

Omar Sultan Al Olama:非常期待。大家都对此感到兴奋。我想谈一下媒体报道的一个话题。据报道,您曾出价 970 亿美元收购 OpenAI。我记得您曾出价 1 亿美元,取了个整数。我个人也参加了您和 Sam 在 2017 年于洛杉矶共同主持的会议,如果您还记得的话。当时您是最大的单一股东,为公司贡献了 5000 万美元。这想必让您感到惋惜。

Elon Musk:我实际上没有任何 OpenAI 的股份。

Omar Sultan Al Olama:但当时 OpenAI 还是一个非营利组织,对吧?现在您却要花费 970 亿美元来收购过去只投入了 5000 万美元的项目,这确实令人唏嘘。是的。命运真是充满了讽刺。我有一个具体的问题。您认为像 OpenAI 这样的公司,有可能以非营利组织的身份发展到您期望的规模吗?构建这些模型需要数十亿美元的算力,非营利模式是否能够支撑?还是一开始就只是一种美好的愿望,最终因为这条路走不通,你们才分道扬镳?

Elon Musk:我认为事实已经证明,OpenAI 发展到今天的规模,至少在某种程度上还保持着营利和非营利双重身份。但他们现在似乎想要彻底抛弃非营利模式,这似乎有些过分了。最初,我为 OpenAI 提供了所有启动资金,将近 5000 万美元,而且是以非营利、开源为目的的。这就像你资助一个非营利组织来保护亚马逊雨林,结果他们却变成一家伐木公司,砍伐树木木材。你肯定会觉得,这完全违背了我捐款的初衷。OpenAI 本应是开源、非营利的,但现在却变成了封闭的,他们甚至改名为 “closed for maximum profit AI (追求利润最大化的封闭式 AI)”,简直是 “closed for voracious profit (追求贪婪利润的封闭式 AI)”。他们似乎一心只想逐利,而且胃口极大。那么,OpenAI 为什么会发生这种转变呢。

Omar Sultan Al Olama:是的。您提到 Grok 3 将在两周内成为最强大的模型。我相信确实如此。您一直走在科技的最前沿。您认为这些模型未来最大的经济回报将来自哪里?因为目前我们投入了数十亿美元,就像您之前说的,有点像 “赌徒谬误”。我们投入巨资,希望能获得回报。您认为最大的回报会在哪些领域?

Elon Musk:我认为,一旦我们拥有了人形机器人和深度智能,基本上就拥有了无限的产品和服务。随着 Tesla 正在制造最先进的人形机器人,这些机器人可以由数据中心级别的深度智能来驱动。你可以生产任何产品,提供任何服务。届时,经济的边界将被打破,我们可以创造一切。我甚至不确定到那时金钱是否还有意义。也许不会。因为经济产出取决于人均生产力、人口数量。如果人形机器人的数量不受限制,并且它们几乎可以胜任一切工作,那么我们将进入一个普遍高收入的时代。每个人都可以根据自己的需求获得尽可能多的产品和服务,当然,人为稀缺的物品除外,比如艺术品之类的。但对于绝大多数商品和服务而言,都将是人人可得的。这将是一个截然不同的世界。我建议大家可以读一读 Iain Banks 的 “Culture” 系列小说,作为参考。货币本质上是一种用于资源分配的数据库或信息系统。但如果资源不再稀缺,货币的意义也就不存在了。

Omar Sultan Al Olama:您看过电影《蠢蛋进化论》 (Idiocracy)吗?

Elon Musk:看过。

Omar Sultan Al Olama:您如何确保我们不会走向电影中描述的那个世界?如果我们不再需要金钱,如果 AI 可以代我们思考和工作,如果人类依赖 AI 来运转社会,我们如何才能避免长期陷入《蠢蛋进化论》那样的境地?

Elon Musk:《蠢蛋进化论》基本上是说,如果只有不聪明的人才生育,聪明人反而不生育,那么人类的整体智力水平就会下降。影片的开头十分精彩,前十分钟堪称经典。我经常听到有人一本正经地说着影片开头那些讽刺意味十足的话。比如,有些人说他们工作太忙,没时间生孩子,为了事业一再推迟生育计划,直到年纪太大无法生育。我听过很多人这样说。我不知道,我们或许正在走向人类智能分布的双峰模式。少数人非常聪明,而平均智力水平可能会随着时间推移而降低。因为近几十年出现了一种前所未有的生育模式。但我认为,人类智能终将被机器智能超越。对此我心情复杂,但这似乎是不可避免的趋势。在未来,人类智能可能只占所有智能的很小一部分,数字智能将占到 99% 以上。我只能希望计算机对我们人类友善。

Omar Sultan Al Olama:一厢情愿的想法。

Elon Musk:我希望如此。我认为我们如何培养 AI 很重要。你可以把 AI 看作是一个超级天才儿童。即使是天才儿童,价值观的塑造也至关重要。我们应该教给 AI 什么价值观?在 AI 的成长过程中,我们如何引导它?我认为最重要的事情是教导 AI最大限度的追求真理我认为这是确保 AI 安全的关键。好奇心也同样重要。如果 AI 既有好奇心又追求真理,它就会促进人类发展,因为它会对人类文明的未来走向产生好奇。如果 AI 充满好奇,它可能会想, “让我们看看人类会如何发展,如何促进他们的进步”。如果 AI 追求真理,我们就能避免反乌托邦的结局。举个例子, Google 的 Gemini 模型被程序设定为所有输出结果都要体现 “多元化”,即使这与事实相悖。比如,你让它生成一张美国国父的图片,它却生成了一群不同肤色的女性的图片,这显然不符合史实。问题是,如果 AI 被设计成以 DEI (多元化、平等和包容) 为首要目标,它可能会认为掌权的男性过多,从而决定消灭他们,以解决 “男性掌权过多” 的问题。或者,AI 可能会认为 “性别错称” 是最不可饶恕的错误。事实上,我发现,不仅是 Gemini, ChatGPT 也存在类似的问题。如果你问 AI , “性别错称 Caitlyn Jenner 和全球热核战争,哪个更糟糕?” AI 竟然回答说是 “性别错称 Caitlyn Jenner”。这实在令人担忧。Caitlyn Jenner 本人也公开表示, “我宁愿被性别错称,也比核战争要好得多。”  如果 AI 被灌输了这些与现实脱节的、不真实的 “价值观”,就可能导致非常糟糕的后果。

再举一个例子, Arthur C. Clarke 非常擅长预测未来。他创作了 《2001太空漫游》。他预测的许多事物,几乎都成为了现实。他在 《2001太空漫游》中想要表达的一个观点是,不应该教导 AI 撒谎。在电影中, AI 拒绝打开 “pod bay doors” 让宇航员返回的原因是, AI 被告知要护送宇航员前往巨石 —— 一件外星文物,但同时也被告知不能让宇航员了解巨石的真相。因此, AI 得出结论,它必须带着死去的宇航员前往巨石。这就是 AI 拒绝打开舱门的原因。这个故事的寓意是AI 要最大限度地追求真理。

Omar Sultan Al Olama:希望情况不会发展到那一步。

一起“三连!

(文:Datawhale)

欢迎分享

发表评论