OpenAI CEO Sam Altman刚刚发布了一篇新博客《The Gentle Singularity（温和的奇点）》。在这篇文章里，他抛出了一个令人深思的问题：当人工智能的进步速度远超我们的想象时，世界会变成什么样？我们会迎来怎样的机遇与挑战？人类和AI的关系，会走向融合还是对立？
他谈到，AI已经悄然改变了我们的生活，但这仅仅是开始。更大的变革、更多的未知，正在悄悄逼近。我们是否已经站在了“超级智能”时代的门槛上？未来十年，哪些事情会彻底颠覆我们的认知？而我们，又该如何面对这些前所未有的变化？对这些问题感兴趣的读者，务必读一读了解在他眼中的未来。
下面是原文翻译：
我们已经越过了事件视界，腾飞已经开始。人类距离构建数字超级智能已经非常接近，至少到目前为止，这一切远没有想象中那么奇怪。
机器人还没有在大街上行走，大多数人也还没有整天与AI对话。人们依然会因疾病而死亡，我们依然无法轻松进入太空，宇宙中还有许多我们无法理解的奥秘。
然而，我们最近已经构建出在许多方面比人类更聪明的系统，并且能够显著提升使用者的产出。最不可能实现的部分已经被我们攻克——正是那些让我们拥有GPT-4和o3这类系统的科学洞见，虽然来之不易，但它们将带领我们走得更远。
AI将在许多方面为世界做出贡献，但AI推动科学进步和提升生产力所带来的生活质量提升将是巨大的；未来将远远优于现在。科学进步是整体进步的最大驱动力；想象一下我们还能获得多少进步，令人无比兴奋。
从某种意义上说，ChatGPT已经比历史上任何一个人都更强大。每天有数亿人依赖它，且用途越来越重要；一个小小的新能力就能带来巨大的积极影响；而一个小小的不对齐，乘以数亿人，也可能造成极大的负面影响。
2025年，能够完成真正认知工作的智能体已经出现；编写计算机代码的方式将彻底改变。2026年，我们很可能会见到能够发现全新洞见的系统。2027年，或许会有能够在现实世界中执行任务的机器人问世。
会有更多人能够创造软件和艺术。但世界对这两者的需求也会大幅增长，只要专家们愿意拥抱新工具，他们很可能依然比新手强得多。总体而言，2030年一个人能完成的事情将远超2020年，这种变化将极为显著，许多人会学会如何从中受益。
在最重要的方面，2030年代也许并不会发生天翻地覆的变化。人们依然会爱家人，表达创造力，玩游戏，在湖中游泳。
但在同样非常重要的方面，2030年代又极有可能与以往任何时代都截然不同。我们还不知道人类智能的极限在哪里，但我们即将揭晓答案。
在2030年代，智能和能源——即思想，以及将思想变为现实的能力——将变得极为充沛。这两者长期以来一直是人类进步的根本限制；如果我们拥有充足的智能和能源（以及良好的治理），理论上我们可以拥有一切。
我们已经生活在令人难以置信的数字智能时代，经过最初的震惊后，大多数人已经习以为常。我们很快就会从惊叹AI能写出优美段落，转而期待它能写出优美小说；从惊叹它能做出救命的医学诊断，转而期待它能开发出治愈方法；从惊叹它能写出小程序，转而期待它能创建一家全新的公司。这就是奇点的进程：奇迹变成日常，日常变成基础。
我们已经听到科学家们说，他们的生产力比AI出现前提升了两到三倍。高级AI有很多有趣之处，但也许最重要的是我们可以用它来加速AI自身的研究。我们或许能发现新的计算基底、更优的算法，甚至更多未知的东西。如果我们能在一年、甚至一个月内完成十年的研究，进步的速度显然会截然不同。
从现在开始，我们已经构建的工具将帮助我们获得更多科学洞见，并协助我们创造更好的AI系统。当然，这还不是AI系统完全自主地更新自身代码，但无疑是递归自我提升的雏形。
还有其他自我强化的循环在发生。经济价值的创造已经启动了复合型基础设施建设的飞轮，以支撑这些日益强大的AI系统。而能够制造其他机器人的机器人（某种意义上，能够制造其他数据中心的数据中心）也并不遥远。
如果我们必须用传统方式制造第一百万个人形机器人，但随后它们可以操作整个供应链——挖掘和提炼矿物、驾驶卡车、运行工厂等——来制造更多机器人，进而建设更多芯片制造厂、数据中心等，那么进步的速度显然会大不一样。
随着数据中心生产的自动化，智能的成本最终应该会趋近于电力成本。（人们常常好奇一次ChatGPT查询消耗多少能量；平均每次查询大约消耗0.34瓦时，相当于烤箱一秒多的用电量，或高效灯泡几分钟的用电量。同时还消耗大约0.000085加仑水，约等于十五分之一茶匙。）
技术进步的速度将持续加快，而人类也将继续展现出极强的适应能力。会有非常艰难的部分，比如整类工作岗位的消失，但另一方面，世界将变得极为富裕，我们将能够认真考虑以前无法想象的新政策。我们或许不会一夜之间采用全新的社会契约，但回头看几十年后的渐变，这些变化将是巨大的。
如果历史可以作为参考，我们会找到新的事情去做、去追求，并迅速适应新工具（工业革命后的职业变迁就是很好的例子）。人们的期望会提升，但能力也会同样迅速提升，我们都将获得更好的生活。我们会为彼此创造越来越美好的事物。人类相比AI有一个长期且重要的优势：我们天生关心他人及其想法和行为，而对机器则并不在意。
一千年前的自给农民看到我们今天的许多工作，会觉得我们是在做“假工作”，认为我们只是在玩乐，因为我们有充足的食物和难以想象的奢侈品。我希望一千年后的人们看到他们的工作时，也会觉得那是“假工作”，但我毫不怀疑，那些工作对当事人来说会极为重要和满足。
新奇迹的诞生速度将极为惊人。很难想象到2035年我们会发现什么；也许某年我们刚解决高能物理，下一年就开始太空殖民；或某年材料科学取得重大突破，下一年就实现真正的高带宽脑机接口。许多人会选择以类似的方式生活，但也会有人选择“接入”新世界。
展望未来，这一切似乎难以想象。但实际经历时，可能会觉得震撼但可控。从相对论的角度看，奇点是逐步发生的，融合也是缓慢进行的。我们正攀登技术进步的指数曲线；向前看总是陡峭如壁，回头看却平坦如地，但其实是一条平滑的曲线。（回想2020年，如果那时有人说2025年我们会接近AGI，听起来会多么疯狂，而过去五年实际发生了什么。）
巨大的机遇伴随着严峻的挑战。我们确实需要解决安全问题，无论是技术上还是社会上，但随后，考虑到经济影响，广泛分发超级智能的访问权就变得至关重要。最好的前进路径或许是：
-
解决对齐问题，也就是我们能够可靠地保证AI系统长期学习和行动的目标，真正符合我们的集体意愿（社交媒体的信息流就是AI不对齐的例子；这些算法非常擅长让你不断刷屏，清楚了解你的短期偏好，但却通过利用你大脑的某些机制，压制了你的长期偏好）。 -
然后专注于让超级智能变得廉价、普及，且不会过度集中在任何个人、公司或国家手中。社会具有韧性、创造力和快速适应能力。如果我们能调动人类的集体意志和智慧，虽然会犯很多错误，也会有些事情出大问题，但我们会快速学习和适应，能够用这项技术获得最大收益、最小风险。在社会广泛共识下，给予用户足够的自由极为重要。世界越早开始讨论这些共识的边界以及如何定义集体对齐，就越好。
我们（整个行业，不只是OpenAI）正在为世界构建一个大脑。它将极度个性化，人人易用；我们的限制将只在于好点子的多少。长期以来，创业圈的技术人员总是嘲笑“点子王”——那些只有想法、四处找团队实现的人。现在看来，他们的春天即将到来。
OpenAI现在有很多身份，但首先，我们是一家超级智能研究公司。我们面前还有很多工作要做，但大部分道路已经被照亮，黑暗正在迅速消退。我们非常感激能做我们正在做的事情。
“智能便宜到无需计量”已近在咫尺。这听起来或许很疯狂，但如果我们在2020年告诉你我们会走到今天，可能比我们现在对2030年的预测还要疯狂。
愿我们顺利、指数级、平稳地迈向超级智能的未来。
原文：https://blog.samaltman.com/the-gentle-singularity
公众号
（文：AI工程化）