AGI风暴正在袭来，却几乎没人做好准备！

《纽约时报》科技专栏作家Kevin Roose 发文声称：他已经「AGI-pilled」（被AGI观点说服）了。

这一表态在科技圈引发热议，各路专家纷纷发表意见，展开了一场关于人工智能未来的激烈讨论。

AGI来临，我们却毫无准备

Roose在《纽约时报》发表了一篇题为《强大的AI即将到来，我们却毫无准备》的文章。

文中他提出了一系列观点：

• 人工智能系统已开始在数学、编程和医疗诊断等多个领域超越人类

• 很快（可能在2026或2027年，甚至是今年）就会有AI公司宣称创造出了AGI

• 未来十年，强大的AI将创造价值数万亿美元的经济价值，并改变全球政治军事力量平衡

• 大多数人和机构对今天存在的AI系统毫无准备，更不用说更强大的系统了

• 那些坚持怀疑态度的人不仅在事实上是错误的，还给人们带来了虚假的安全感

• 当前AI模型正在显著改进，特别是在复杂推理能力方面

• 各种专家(包括Geoffrey Hinton和Yoshua Bengio等)都预测AGI即将到来

• 即使AGI到来的时间比预期晚，现在开始准备也是明智的

支持与质疑

Roose的观点引发了广泛讨论，支持与质疑的声音都有。

richarddorset 在读完Roose文章后，指出其核心观点：

不管你认为AGI对人类是好是坏，它的到来都提出了我们目前无法回答的重要经济、政治和技术问题。

支持者如@jadenitripp感谢Roose写了这篇文章，并表示他担心大多数人对此毫无准备。@XoBOutThe也称赞这是一篇好文章，提到自己的工作角色已经转变为”AI监督者”，生产力飙升。

CrosslandCreate则持完全相反的看法：

Article says AGI’s close, will transform econ & power, needs prep, per insiders. Lacks tech proof, just vague hype, not evidence-based.

他认为该文章缺乏技术证据，只是模糊的炒作，不是基于证据的。他指出AI只是对数回归、线性回归、梯度下降等算法的组合，并不比快速排序算法更有意识。

David Grossman 也提出质疑：

「如果你错了，会有什么问责机制？」

职业替代的时间线

技术类推文中，讨论最热烈的是AGI对工作的影响以及AGI实现的时间线。

Matt D作为一位拥有二十年编程经验的开发者，分享了自己的体验：

我正在进行一个AI辅助项目，进度比我独自完成要快10倍，而且远远超过了我的能力和知识。现在，虽然这个项目是我的想法，AI写的所有代码都是基于我的提示，但最近感觉我是在为AI工作，主要是复制粘贴它告诉我的代码。

而关于AGI时间线，则争议很大。

walidbey 认为AGI可能在2040年代中后期才会实现，这与那些认为AGI即将到来的观点明显不符。

Dave Goldblatt则质疑是否应该继续使用”AGI”这个术语：

我认为”AGI”这个术语分散了人们的注意力：这项技术将会（或者已经）具有颠覆性的力量，无论它是否是”AGI”。你认为是时候超越”agi”术语了吗？

风险与社会问题

网友们也讨论了AGI可能带来的风险和社会问题。

Antoine指出：

「如果机器可以比我们做得更好，那么向全民基本收入迈进似乎是个不错的准备。要么这样，要么建立Soylent Green工厂。」

Joshua则提出了一个核心问题：

「如果我们都被替代，AI怎么为企业创造收益？如果人口都失业了，社交媒体上的广告有什么用？任何产品有什么用？」

Casual Observer回应说：

「企业的思维方式非常注重当下，已经证明他们一点都不关心社会影响。社会化成本，私有化利润。AI最初是怎么出现的？它建立在互联网上其他人的劳动成果之上，却没有任何补偿。这是历史上最大的抢劫行为。」

Tom（@tom）表达了对人类优先级的担忧：

我们不需要更好的AI/AGI。我们首先需要更好的人类。人类物种很能说明问题，它更喜欢改进技术而不是改善人类状况。在给饥饿的生病儿童提供食物之前，将会花费数十亿美元让AI提高数学成绩。我们确实是一个可悲的物种，我们最终将成为自我灭绝的创造者的可能性很高。

教育与学习

一位英语教授（Tb）分享了一个令人担忧的现象：

我的学生，包括聪明的学生，都告诉我他们使用ChatGPT来告诉他们文学作品中什么是有意义的。即使我唯一的期望是让他们专心阅读并以真实的自我回应，他们也感觉到一种几乎不可抗拒的吸引力，去向这个神奇的、无形的权威求助…他们假定它的权威，它的优越性。他们告诉我，他们实际上认为人类是AI的劣质版本。所以，让你知道，我们就是这种状况。

年近70岁的paulyyams则提出了一个更深层次的问题：

我每天都去散步，遇到的人有三分之一要么在打电话，要么戴着耳机听音乐。有时他们拿着音乐播放器，声音很大。我想，他们走路的时候能看到周围的东西吗？光线、鸟儿和树木？…读到这里关于即将到来的AGI世界，我想知道未来人们的生活是否会消除作为自然世界一部分的感觉。

现状与局限性

一些技术专家指出了当前AI系统的局限性，认为距离真正的AGI还有距离。

gnowxela分享了一个有趣的实验：

下次你在AI面前时，试试这个提示：「从两个相等的直角三角形开始，位置和方向相同。旋转并平移一个三角形，使两个三角形重叠，重叠的区域形成一个矩形。你旋转了三角形多少度？」

 

仅仅在脑海中想象这个过程，或者玩弄两个物理三角形，你很快就会意识到答案必须是180度（或者180度加减某个360度的倍数）。但我尝试过的每一个模型，Gemini、CoPilot、ChatGPT、Claude、DeepSeek、DeepSeek R1（最高14b），都得出了90度的错误答案。

他认为这表明尽管语言模型可以通过符号推理，但它们缺乏空间推理能力，这一点对于「通用智能」至关重要。

Mike也表示同意这种观点，并补充道：

我希望AI能在数学研究中有所帮助。我使用了付费的openAI，它在找到一些现有结果方面有所帮助，但仅此而已。至于编码，它有助于给Python代码评分，因为这些是简单的问题，它可以总结问题。那些能解决新问题的新算法在哪里？由于缺乏关键元素，这些算法还没有出现。当AI能够产生Dijkstra的工作时，转折点就到来了。

专家预测与技术发展

Vincent Murphy提出了一个有趣的历史类比：

印刷术后的50年被称为摇篮期——虽然世界大部分地区都在忙于适应和采用印刷技术，但也有一些人，主要是高级权威人士，认为花费大量时间、精力和鲜血来争论圣餐是否真的是耶稣的肉身化身或只是形而上学的代表更好。今天，定义AGI具有同样的无用本质。

Christopher Kulbida则从哲学和神学角度探讨了判断AGI存在的问题：

对于任何被视为AGI或ASI的系统，我们必须问：以什么标准？ • 计算智能？机器在速度和记忆方面已经超过了人类。 • 创造性智能？机器可以模拟创造力，但缺乏内在目的。 • 道德或哲学智能？这需要智慧，而AI并不具备。

 

没有一个判断者（无论是人类还是神圣的），AGI或ASI的标签仍然是任意的。

跳出AGI术语的限制

最后，回到Dave Goldblatt的观点，也许我们需要超越”AGI”这个术语，关注技术本身的力量和影响。正如他所说：

这项技术将会（或者已经）具有颠覆性的力量，无论它是否是”AGI”。

无论你是AGI乐观派还是怀疑派，Kevin Roose的观点提醒我们：现在就开始为AGI的可能到来做准备为时不晚，但前提是我们不能盲目依赖技术。如果我们处于否认状态或者根本没有关注，我们可能会失去在最关键时刻塑造这项技术的机会。

AI 是工具还是未来的主宰？

你怎么看？

附Kevin Roose 原文

强大的A.I.即将到来。我们尚未做好准备。

对人工通用智能（A.G.I.）的进展要认真对待的三个论点 — 无论你是乐观派还是悲观派。

Kevin Roose | 2025年3月14日

以下是我对人工智能的一些看法：

我相信，在过去几年，A.I.系统已经开始在许多领域超越人类 — 数学、编程和医疗诊断，仅举几例 — 而且它们每天都在变得更好。

我相信，很快 — 可能在2026年或2027年，甚至可能是今年 — 一家或多家A.I.公司将宣称他们已经创造出了人工通用智能（A.G.I.），通常被定义为”能够做几乎所有人类可以做的认知任务的通用A.I.系统”。

我相信，当A.G.I.被宣布时，将会有关于定义的争论，以及关于它是否算作”真正的”A.G.I.的争论，但这些大多数都不重要，因为更广泛的观点 — 即我们正在失去对人类级别智能的垄断，并过渡到一个拥有非常强大A.I.系统的世界 — 将是真实的。

我相信，在未来十年，强大的A.I.将创造数万亿美元的经济价值，并将政治和军事力量平衡倾向于控制它的国家 — 而且大多数政府和大公司已经认为这是显而易见的，这从他们为了在竞争中领先而投入的巨额资金可以看出。

我相信，大多数人和机构对今天存在的A.I.系统完全没有准备，更不用说更强大的系统了，而且在任何政府层面都没有切实可行的计划来减轻这些系统的风险或把握它们的好处。

我相信，那些顽固的A.I.怀疑论者 — 那些坚持认为进步只是障眼法，并将A.G.I.视为幻想的妄想的人 — 不仅在事实上是错误的，而且正在给人们一种虚假的安全感。

我相信，无论你认为A.G.I.对人类是好是坏 — 老实说，现在说可能为时过早 — 它的到来都提出了重要的经济、政治和技术问题，而我们目前对这些问题没有答案。

我相信，为A.G.I.做准备的正确时间是现在。

这一切听起来可能很疯狂。但我并不是作为一个充满星光的未来主义者，一个炒作自己A.I.投资组合的投资者，或者一个服用了太多迷幻蘑菇并看《终结者2》的人得出这些观点的。

我是作为一个花了大量时间与工程师交谈的记者得出这些结论的，这些工程师正在构建强大的A.I.系统，为其提供资金的投资者，以及研究其影响的研究人员。我已经开始相信，A.I.领域正在发生的事情比大多数人理解的要大得多。

在我所在的旧金山，A.G.I.的想法并不边缘或奇特。这里的人们谈论”感觉到A.G.I.”，建造比人类更聪明的A.I.系统已成为硅谷一些最大公司的明确目标。每周，我都会遇到从事A.I.工作的工程师和企业家，他们告诉我变革 — 大变革，震撼世界的变革，我们从未见过的那种转变 — 就在眼前。

“在过去的一两年里，曾被称为’短时间线’（认为A.G.I.可能会在这个十年内被建造）的观点已经成为近乎共识，”去年离开OpenAI的独立A.I.政策研究员Miles Brundage最近告诉我。

在湾区以外，很少有人听说过A.G.I.，更别说开始为它做计划了。在我的行业中，那些认真对待A.I.进展的记者仍然冒着被嘲笑为容易上当的傻瓜或行业吹捧者的风险。

老实说，我理解这种反应。尽管我们现在有A.I.系统为诺贝尔奖获奖突破做出贡献，尽管每周有4亿人使用ChatGPT，但人们在日常生活中遇到的很多A.I.都是一种麻烦。我同情那些在Facebook上看到A.I.垃圾内容，或者与客户服务聊天机器人进行笨拙互动的人，他们可能会想：这就是将要接管世界的东西？

我以前也对这个想法嗤之以鼻。但我已经开始相信我错了。有几件事让我更加认真地对待A.I.进展。

内部人士感到担忧

关于今天A.I.行业最令人不安的事情是，最接近技术的人 — 领先A.I.实验室的员工和高管 — 往往是最担心它改进速度的人。

这非常不寻常。回到2010年，当我报道社交媒体的崛起时，Twitter、Foursquare或Pinterest内部没有人警告他们的应用可能会导致社会混乱。Mark Zuckerberg没有测试Facebook以发现它可能被用来创造新型生物武器或进行自主网络攻击的证据。

但今天，拥有关于A.I.进展最佳信息的人 — 那些构建强大A.I.的人，那些能够访问比普通公众看到的更先进系统的人 — 告诉我们重大变革即将发生。领先的A.I.公司正在积极为A.G.I.的到来做准备，并在预期它们变得更具能力和自主性的情况下，研究其模型可能具有的潜在可怕特性，例如是否有能力进行谋划和欺骗。

OpenAI首席执行官Sam Altman已经写道，”指向A.G.I.的系统正进入视野”。

Google DeepMind首席执行官Demis Hassabis表示，A.G.I.可能”距离三到五年”。

Anthropic首席执行官Dario Amodei（他不喜欢A.G.I.这个术语，但同意一般原则）上个月告诉我，他相信我们距离拥有”大量比人类在几乎所有方面都更聪明的A.I.系统”只有一两年时间。

也许我们应该对这些预测打折扣。毕竟，A.I.高管从夸大的A.G.I.炒作中获利，可能有动机夸大其词。

但许多独立专家 — 包括Geoffrey Hinton和Yoshua Bengio，世界上最有影响力的两位A.I.研究人员，以及Ben Buchanan，拜登政府的顶级A.I.专家 — 都在说类似的事情。经济学家、数学家和国家安全官员也是如此。

公平地说，一些专家怀疑A.G.I.即将到来。但即使你忽略了所有在A.I.公司工作的人，或者对结果有既得利益的人，仍然有足够多的可信的独立声音预测短期内A.G.I.的到来，我们应该认真对待他们。

A.I.模型不断变得更好

对我来说，与专家意见一样有说服力的是，今天的A.I.系统正在迅速改进的证据，这对任何使用它们的人来说都是相当明显的。

2022年，当OpenAI发布ChatGPT时，领先的A.I.模型在基本算术运算上遇到了困难，经常在复杂推理问题上失败，并且经常”幻觉”，或编造不存在的事实。那个时代的聊天机器人可以在正确的提示下做出令人印象深刻的事情，但你永远不会将它用于非常重要的事情。

如今的A.I.模型好得多。现在，专门的模型在国际数学奥林匹克竞赛中获得了奖牌级别的分数，通用模型在复杂问题解决方面变得如此出色，以至于我们不得不创建新的、更困难的测试来衡量它们的能力。幻觉和事实错误仍然发生，但在较新的模型上它们更罕见。许多企业现在已经足够信任A.I.模型，将它们内置到核心、面向客户的功能中。

（《纽约时报》已起诉OpenAI及其合作伙伴微软，指控他们侵犯与A.I.系统相关的新闻内容版权。OpenAI和微软否认了这些指控。）

一些改进是规模的函数。在A.I.领域，使用更多数据和处理能力训练的更大模型往往会产生更好的结果，今天的领先模型明显比它们的前身更大。

但这也源于A.I.研究人员近年来取得的突破 — 最值得注意的是”推理”模型的出现，这些模型被设计成在给出响应之前采取额外的计算步骤。

推理模型，包括OpenAI的o1和DeepSeek的R1，被训练来处理复杂问题，并使用强化学习构建 — 这种技术曾被用来教A.I.以超人水平玩围棋。它们似乎正在成功解决之前模型遇到困难的问题。（仅举一个例子：GPT-4o，OpenAI发布的标准模型，在AIME 2024（一组极其困难的竞赛数学问题）上得分为9%；o1，OpenAI几个月后发布的推理模型，在同一测试上得分为74%。）

随着这些工具的改进，它们对许多类型的白领知识工作变得越来越有用。我的同事Ezra Klein最近写道，ChatGPT的Deep Research（一种生成复杂分析简报的高级功能）的输出”至少达到了他共事过的人类研究人员的中位数水平”。

我也在工作中发现了A.I.工具的许多用途。我不使用A.I.写专栏，但我用它做许多其他事情 — 准备采访，总结研究论文，构建个性化应用程序帮助我处理行政任务。几年前这些都是不可能的。我发现，任何经常使用这些系统进行认真工作的人都不可能得出它们已经达到平台期的结论。

如果你真的想了解A.I.最近变得多好，就去和一位程序员交谈。一两年前，A.I.编码工具确实存在，但更多地是为了加速人类编码人员的工作，而不是取代他们。如今，软件工程师告诉我，A.I.为他们完成了大部分实际编程工作，他们越来越感觉自己的工作是监督A.I.系统。

Y Combinator创业加速器的合伙人Jared Friedman最近表示，加速器当前批次的创业公司中有四分之一使用A.I.编写几乎所有代码。

“一年前，他们会从头开始构建产品 — 但现在95%是由A.I.构建的，”他说。

准备过度比准备不足好

本着认识论谦虚的精神，我应该说，我和许多其他人可能在时间线上是错误的。

也许A.I.进展会遇到我们没有预料到的瓶颈 — 能源短缺阻止A.I.公司建造更大的数据中心，或限制获取用于训练A.I.模型的强大芯片。也许今天的模型架构和训练技术不能让我们一路达到A.G.I.，需要更多的突破。

但即使A.G.I.比我预期的晚十年到来 — 在2036年而不是2026年 — 我相信我们现在就应该开始为它做准备。

我听到的关于机构应该如何为A.G.I.做准备的大多数建议都归结为我们无论如何都应该做的事情：现代化我们的能源基础设施，加强我们的网络安全防御，加快A.I.设计药物的审批流程，编写法规以防止最严重的A.I.危害，在学校教授A.I.素养，优先考虑社交和情感发展而不是即将过时的技术技能。这些都是明智的想法，无论有没有A.G.I.

一些科技领袖担心，对A.G.I.的过早恐惧将导致我们过于激进地监管A.I.。但特朗普政府已经表示，它希望加速A.I.发展，而不是减缓它。而且花在创建下一代A.I.模型上的资金已经足够多 — 数千亿美元，而且还会有更多 — 似乎不太可能领先的A.I.公司会自愿踩刹车。

我也不担心个人为A.G.I.准备过度。我认为更大的风险是，大多数人直到强大的A.I.直面他们时才会意识到它的存在 — 消除他们的工作，将他们卷入骗局，伤害他们或他们所爱的人。这大致就是社交媒体时代发生的事情，当我们未能认识到Facebook和Twitter等工具的风险时，它们已经太大、太根深蒂固而无法改变。

这就是为什么我相信现在就应该认真对待A.G.I.的可能性，即使我们不确切知道它何时到来或者它将采取什么确切形式。

如果我们处于否认状态 — 或者如果我们只是不关注 — 我们可能会失去在最重要的时候塑造这项技术的机会。