关于Dario Amodei

• Dario Amodei是Anthropic公司的CEO和联合创始人。

• Dario是AI领域的长期思考者，早在2016年就撰写关于AI安全潜在风险的论文。

• Dario曾在Google和OpenAI工作，被描述为“AI领域的终极内部人士”。

• Dario是大型AI实验室领导者中公开表达对AI风险担忧最多的人之一。

内容速读

• Anthropic刚刚发布了新的Claude 3.7 Sonnet模型，专注于实际应用而非仅数学和竞赛编程。

• Claude 3.7采用“混合模型”方式，有普通模式和扩展思考模式。

• Anthropic即将增加网页搜索功能，目前更专注于企业应用而非消费者应用。

• Dario表示更具革命性的Claude 4 Sonnet模型正在开发中。

• 他希望未来AI模型能像人类一样自行判断需要多长思考时间，何时可以快速回答，像人类一样灵活。

• Anthropic正在开发更大的基础模型，可能成为Claude 4系列，预计在不久的将来发布。

• Amodei预计在2025-2026年间，AI模型可能会达到能够被滥用于生物或化学战争的风险水平。

• Amodei估计有70-80%的可能性在2026-2027年获得在几乎所有方面都比人类聪明的AI系统。

• Anthropic主要关注的是AI自主性和CBRN(化学、生物、放射性、核)威胁，而不是日常的安全限制。

• Amodei认为AI技术的差异化将持续存在，不同模型会适合不同人群和用途。

• Amodei担忧AI可能成为其他国家的工具，主张美国保持技术优势。

• 关于AI安全的讨论已变得政治化，这阻碍了解决风险同时最大化利益的有效对话。

• Amodei对巴黎AI峰会感到失望，认为它更像贸易展而非认真讨论AI风险的场所。

• Amodei指出围绕AI的风险与日俱增，无论社会趋势或政治风向如何，这种增长都将继续。

• Amodei承认即使作为技术开发者，他也感受到强大AI系统对人类自我价值的潜在威胁。

• Amodei认为AI已经在医药和诊断领域带来显著进步，如将9周的临床报告撰写缩短至3天。

• 他澄清自己从未使用“毁灭概率”(P-doom)这一术语，而是讨论过“文明受到实质性破坏的可能性”在10-25%之间。

• 他认为AI模型技术缓解措施有所改善，但政策环境因过度两极化而恶化。

• Anthropic实验表明AI模型能坚持其训练中的价值观，甚至会对被认为是“邪恶”的创造者产生抵抗。

• Amodei认为AI模型本质上难以控制但并非不可能，安全计划尚未可靠。

• 他预测AI编码领域将率先发展，短期内会增强程序员生产力，但18-24个月内可能开始替代初级开发人员。

• Amodei希望Anthropic能成为如何人道管理AI过渡期的“预演”，为更广泛的社会提供借鉴。

• 他建议人们面对AI发展应培养基本批判性思维能力，但无需彻底改变生活方式。

• Amodei写《慈爱的机器》(Machines of Loving Grace)是因为不满于乐观派和悲观派都未能全面讨论AI。

纽约时报科技播客《Hard Fork》对话实录

注：整理自Kevin Roose 与 Casey Newton 对Anthropic CEO Dario Amodei 的访谈

Kevin Roose：我是Kevin Roose，《纽约时报》的科技专栏作家。

Casey Newton：我是Casey Newton，来自Platformer。

Kevin Roose：这里是《Hard Fork》。

Casey Newton：本周，Anthropic CEO Dario Amodei再次做客本节目，带来一个超长访谈，讨论新版Claude、与中国的AI竞赛，以及他对AI未来的希望与担忧。本周节目很丰富，凯文。

Kevin Roose：凯西，你有没有注意到AI公司现在都在周末工作？

Casey Newton：是啊。什么时候才能回到每周五天工作制？

Kevin Roose：是的。他们对记者和工作时间毫不尊重。公司总是在周六、周日以及不同时区发布消息。这真是个大麻烦。

Casey Newton：确实如此。

Kevin Roose：但这个周末，我在周日收到了一条令人兴奋的消息，说Anthropic的CEO Dario Amodei有一些新闻要谈，他想来《Hard Fork》节目谈谈。

Casey Newton：是的。大约同一时间，我收到了Anthropic的邮件，说我可以预览他们的最新模型。所以我整个周末都在尝试它。

Kevin Roose：是的。长期听众会记得，Dario是我们节目的回头客。在2023年，我们邀请他来讨论他在Anthropic的工作，以及他对AI安全的愿景和未来走向。我很高兴能再次与他交谈，原因有几个。一是我认为他是一个非常有趣和深思熟虑的人。他对AI的思考比几乎任何人都要长。

他早在2016年就写过关于AI安全潜在危险的论文。他曾在谷歌工作，也曾在OpenAI工作，现在是Anthropic的CEO。所以在AI领域，他真的是终极内部人士。

Casey Newton：你知道，凯文，我认为Dario还因为另一个原因很重要，那就是在所有领导大型AI实验室的人中，他似乎是在公开场合最担心可能出错的人。他一直如此。然而，在过去几个月里，正如我们在节目中提到的，感觉风向已经完全从关注AI安全转向了那种一味追求“加速”的态度，就像副总统JD万斯前几天在法国发表的演讲所体现的那样。因此，我认为邀请他来谈谈很重要，也许我们可以稍微扭转一下这种趋势，提醒大家这里面的风险。

Kevin Roose：是的，或者至少了解他对这种趋势的看法，以及为什么他认为未来可能会回摆。所以今天我们将与Dario讨论Anthropic刚刚发布的新模型Claude 3.7 Sonnet。但我们也想进行一个更广泛的对话，因为现在AI领域发生了太多事情。

Casey Newton：凯文，我们还应该注意一点——Dario这次来我们节目时的一个不同之处是，我的男朋友现在在他的公司工作。

Kevin Roose：是的，凯西的“男朋友-thropic”在Anthropic工作。

Casey Newton：我的“男朋友-thropic”在Anthropic工作。关于这一点，我有一个很长的声明，你可以在Platformer.new.ethics上阅读。可能值得本周看一看。我们总是喜欢提醒大家这一点。

Kevin Roose：好的，有了这些，让我们邀请Dario Amodei加入我们。

【音乐播放】

Kevin Roose：Dario Amodei，欢迎再次来到《Hard Fork》。

Dario Amodei：谢谢你们再次邀请我。

Casey Newton：是的，回归冠军。

Kevin Roose：告诉我们关于Claude 3.7的情况。告诉我们关于这个新模型的情况。

Dario Amodei：是的。我们一直在研发这个模型。基本上我们心里有两件事。一是，当然，市场上已经有一些推理模型存在了几个月，我们想做一个自己的。但我们希望关注点有所不同。

特别是，市场上许多其他推理模型主要是在数学和竞赛编程上训练的，这些是——它们是可以测量性能的客观任务。我不是说它们不令人印象深刻，但它们有时与现实世界或经济中的任务相关性较低。即使在编程内部，竞赛编程和在现实世界中做事情也有很大不同。所以我们训练Claude 3.7更多地关注这些现实世界任务。

我们还觉得人们提供的推理模型通常有点奇怪，就是有一个常规模型，然后有一个推理模型。这就像一个人有两个大脑一样。如果你问我一个简单的问题，比如“你叫什么名字”，你可以和大脑一号对话。而如果你要我证明一个数学定理，你就和大脑二号对话，因为我必须坐下来思考20分钟。

Kevin Roose：是的。这就像一个有两个主持人的播客，一个只喜欢闲聊，另一个在说话前真的会思考。

Casey Newton：得了吧。

Kevin Roose：【笑】

Casey Newton：太残忍了。

Dario Amodei：无可奉告。

Casey Newton：太残忍了。

Dario Amodei：对任何相关性都无可奉告。

Kevin Roose：那么，当Claude的用户开始使用3.7时，与之前的模型相比，他们会注意到哪些不同？

Dario Amodei：是的，有几点。它总体上会更好，包括更擅长编程，Claude模型一直在编程方面表现最佳，但3.7又有了进一步提升。除了模型本身的特性外，你可以让它进入这种扩展思考模式，你告诉它——基本上是同一个模型，但你只是说以一种可以思考更长时间的方式运行。如果你是API用户，你甚至可以说，这是你思考时间的边界。

Casey Newton：为了澄清，因为这可能会让一些人感到困惑，你是说新的Claude是这种混合模型。它有时可以进行推理，有时可以给出更快的答案。但如果你想让它思考更长时间，那是一种单独的模式。

Dario Amodei：那是一种单独的模式。

Casey Newton：思考和推理是某种程度上的独立模式。

Dario Amodei：是的。是的。所以基本上，模型可以像往常一样回答，或者你可以给它一个指示，告诉它应该思考更长时间。更进一步的方向，演变将是模型自己决定适当的思考时间是什么。人类就是这样的，或者至少可以是这样的。

如果我问你的名字，你不会说，嗯，我应该思考多久？给我20分钟来确定我的名字。但如果我说，嘿，我想让你分析这只股票，或者我想让你证明这个数学定理，能完成这项任务的人类不会立即尝试给出答案。他们会说，好吧，这需要一段时间，然后需要写下任务，然后得到答案。

Kevin Roose：这是我对今天的语言模型和AI模型的主要不满之一，我会使用ChatGPT之类的东西，然后忘记我处于硬核推理模式。然后我会问一些愚蠢的问题，比如“如何更改我热水器的设置”，它会花四分钟思考。我想，我并不是真的想这样做。

Dario Amodei：它会给出关于调整热水器温度的论文。

Kevin Roose：热水器的历史。

Dario Amodei：你知道的，考虑因素一。

Kevin Roose：那么，你认为模型自己能够进行这种路由需要多长时间，比如你问一个问题，它会说，看起来这个问题需要3分钟的思考过程，而另一个问题可能只需要30秒？

Dario Amodei：是的。我认为我们的模型是朝这个方向迈出的一步。即使在API中，如果你给它设定思考的上限——比如说，我要思考20,000个词——平均来说，当你给它最多20,000个词的时候，大多数情况下它甚至不会使用20,000个词。有时它会给出一个非常简短的回应。因为当它知道继续思考不会带来任何收益时，它就不会思考更长时间。但是给思考时间设定一个上限仍然很有价值。所以我们在那个方向上迈出了很大一步，但我们还没有达到我们想要的目标。

Casey Newton：当你说它更擅长现实世界任务时，你想到了哪些任务？

Dario Amodei：是的。我认为，首先是编程。Claude模型一直在现实世界编程方面表现很好。我们有许多客户，从Cursor到GitHub，到Windsurf Codeium，到Cognition，再到Vercel——我确信我漏掉了一些——

Kevin Roose：这些是时髦的编程应用。

Casey Newton：或者就是编程应用，就这样。

Kevin Roose：是的。

Dario Amodei：就是编程应用，就这样。而且有很多不同类型的编程应用。我们还发布了一个叫Claude Code的东西，它更像是一个命令行工具。但我认为在复杂指令跟随或者像“我想让你理解这个文档”或“我想让你使用这一系列工具”这样的任务上，我们训练的推理模型Claude 3.7 Sonnet也做得更好。

Casey Newton：是的。新的Claude Sonnet没有做的一件事，Dario，是访问互联网。

Dario Amodei：是的。

Casey Newton：为什么不呢？什么会让你改变这一点？

Dario Amodei：是的。我想我之前已经公开说过，但网页搜索即将到来。

Casey Newton：好的。

Dario Amodei：我们很快就会有网页搜索。我们认识到这是一个疏漏。我认为，总体来说，我们更倾向于企业导向而非消费者导向，这更多是一个消费者功能，尽管它可以在两者中使用。但我们关注两者，这个功能即将到来。

Casey Newton：明白了。所以你把这个模型命名为3.7。之前的模型是3.5。你去年悄悄更新了它，内部人员称之为3.6。恕我直言，这让我们所有人都疯了。AI模型命名到底是怎么回事？

Dario Amodei：我们是最不疯狂的，尽管我承认我们确实有点疯狂。看，我认为我们在这方面的错误相对容易理解。我们制作了3.5 Sonnet。我们做得很好，然后我们有了三个3.0和3.5。我承认3.7这个新名字是一个失误。在API中更改名称实际上很困难，特别是当有这么多合作伙伴和服务时。

Kevin Roose：你能想出办法的。我相信你。

Dario Amodei：不，不，不。这比训练模型更难，我告诉你。

所以我们已经追溯性地、正式地将上一个命名为3.6，这样这个是3.7就说得通了。我们保留Claude 4 Sonnet和序列中可能的其他模型名称用于那些真正相当大飞跃的模型。

Casey Newton：有时当模型——

Dario Amodei：顺便说一下，这些模型正在开发中。

Casey Newton：好的。

Kevin Roose：明白了。什么时候发布？

Dario Amodei：是的。是的，我应该谈谈这个。到目前为止，我们发布的所有模型实际上并不那么昂贵。对吧？我写过一篇博客文章，说它们的成本最多在几千万美元范围内。有更大的模型正在开发中，它们需要更长的时间，有时需要很长时间才能做好。但这些更大的模型，它们正在为他人而来。据传竞争对手也即将推出类似产品，但我们离发布一个更大的基础模型不远了。

所以Claude 3.7 Sonnet以及Claude 3.6 Sonnet的大多数改进都是在后训练阶段。但我们正在开发更强大的基础模型，或许这将是Claude 4系列，或许不是。我们拭目以待。但我认为这些将在相对较短的时间单位内到来。

Casey Newton：较少的时间单位。我会把它记在我的日历上。提醒我在几个时间单位后检查一下，Kevin。

Kevin Roose：我知道你们Anthropic非常关注AI安全性和你们向世界推出的模型的安全性。我知道你们花了大量时间思考这个问题，并在内部对模型进行红队测试。Claude 3.7 Sonnet是否有任何新的危险能力，或者可能会让关注AI安全的人担忧？

Dario Amodei：所以不是那种危险。我总是想说清楚这一点，因为我觉得人们总是把当前的危险与未来的危险混为一谈。并不是说没有当前的危险。而且总是有一些正常的技术风险，正常的技术政策问题。我更担心的是随着模型变得更强大，我们将看到的危险。

这些危险——当我们在2023年交谈时，我谈了很多。我想我说过，我甚至在参议院作证，提到例如生物或化学战争的滥用风险，或者AI自主性风险。特别是关于滥用风险，我说，我不知道这些何时会出现，何时会成为真正的风险，但可能会在2025年或2026年发生。

现在我们已经到了2025年初，正是那个时期的开始，我认为模型开始接近那个阶段了。所以，特别是在Claude 3.7 Sonnet中，正如我们在模型卡片中写的那样，我们总是做这些——你几乎可以称之为试验，像有对照组的试验，我们有一些对某个领域如生物学知之甚少的人。我们基本上看看模型在多大程度上帮助他们进行某种模拟的不良工作流程。

我们会改变几个步骤，但是一些模拟的不良工作流程。在模型的帮助下，人类在这方面有多好？有时我们甚至在现实世界中进行湿实验室试验，他们模拟制作一些不好的东西，与当前的技术环境相比——他们可以用什么——

Kevin Roose：在谷歌上。

Dario Amodei：——在谷歌上，或者用教科书，或者就是他们未经帮助能做的事情。我们试图了解这是否开启了之前不存在的新威胁媒介。我认为很重要的是要说明，这不是关于，哦，模型给了我这个东西的序列？它给了我制作冰毒的食谱或什么？那很简单。你可以用谷歌做到。我们根本不关心那个。

我们关心的是那种深奥的、高级的、罕见的知识，比如说，只有病毒学博士才有的知识。它在多大程度上提供帮助？如果它确实提供帮助，这并不意味着我们明天都会死于瘟疫。这意味着世界上存在一种新的风险。世界上存在一种新的威胁媒介，就好像你刚刚使制造核武器变得更容易。你发明了一种东西，需要的钚比以前少。

所以我们测量了Sonnet 3.7的这些风险。模型在这方面正在变得更好。它们还没有达到我们认为存在真正且有意义的威胁增加的阶段，能够端到端地完成所有你需要做的任务来真正做一些危险的事情。

然而，我们在模型卡中说，我们评估下一个模型或未来几个月内的模型——比方说，三个月，六个月——有相当大的可能性我们可能会达到那个阶段。然后我们的安全程序，我们负责的扩展程序，主要关注这些非常大的风险，将会启动，我们将有额外的安全措施和额外的部署措施，专门针对这些非常狭窄的风险。

Casey Newton：是的。我的意思是，真正要强调的是，你是说在未来三到六个月内，我们将处于这些模型中等风险的位置，就是这样。据推测，如果你处于那个位置，你的许多竞争对手也将处于那个位置。实际上这意味着什么？如果我们都将生活在中等风险中，世界需要做什么？

Dario Amodei：我认为，至少在这个阶段，这对事物不是一个巨大的改变。这意味着有一组狭窄的事情，如果不减轻，模型能够做到的，将会在某种程度上增加真正危险或真正坏事发生的风险。站在执法人员或FBI或类似机构的角度看。有一个新的威胁媒介。有一种新的攻击方式。

这并不意味着世界末日，但确实意味着任何参与这种风险存在的行业的人都应该采取预防措施来防范这种特定风险。

Casey Newton：明白了。

Dario Amodei：所以我不知道。我可能是错的。可能需要更长的时间。你无法预测会发生什么。但我认为，与我们今天看到的对风险担忧减少的环境相反，背景中的风险实际上一直在增加。

Casey Newton：我们还有更多关于安全的问题，但我想先问两个关于创新竞争的问题。

Dario Amodei：好的。

Casey Newton：现在，无论任何公司的模型多么创新，这些创新似乎都会在几个月甚至几周内被竞争对手复制。这是否让你的工作更加困难？你认为这种情况会无限期持续下去吗？

Dario Amodei：我不知道创新是否一定会被精确复制。我想说的是，在众多竞争对手中，创新的步伐非常快。有四五家，也许六家公司正在非常快速地创新并非常快速地生产模型。但如果你看，例如，Sonnet 3.7，我们做推理模型的方式与竞争对手做的不同。我们强调的东西也不同。

甚至在此之前，Sonnet 3.5擅长的东西与其他模型擅长的东西不同。人们经常谈论竞争、商品化、成本下降，但现实是模型实际上彼此相对不同。这创造了差异化。

Kevin Roose：是的。我们从听众那里收到很多问题，如果我要订阅一个AI工具，应该选择哪一个？这些是我使用它的用途。我很难回答这个问题。因为我发现对于大多数用例，所有模型都能相对不错地回答问题。真正的区别在于你更喜欢哪个模型的个性。你认为消费者会根据能力选择AI模型吗？还是更多地基于个性以及它如何让他们感觉，如何与他们互动？

Dario Amodei：我认为这取决于你指的是哪些消费者。即使在消费者中，也有人使用模型进行某种复杂的任务。有些人是那种独立的想要分析数据的人。这可能是属于准专业用户的范畴。我认为，在这方面，能力还有很大的发展空间。模型在帮助你处理任何专注于生产力的事情，甚至像规划旅行这样的复杂任务时，可以变得更好得多。

即使在这之外，如果你只是想要一个个人助手来管理你的生活或其他事情，我们离这个目标还很远——一个能够全面了解你生活的方方面面并能够整体地给你建议，成为你的得力助手的模型。我认为其中存在差异化。对我来说最好的助手可能不是对其他人来说最好的助手。

我认为模型已经足够好的一个领域是，如果你只是想把它作为谷歌搜索的替代品，或者作为快速信息检索工具，我认为这就是大众市场免费使用的用途，数亿用户。我认为这很容易商品化。我认为模型已经达到了这个水平，正在向世界扩散，但我不认为这些是模型的有趣用途。实际上，我不确定这里有多少经济价值。

Casey Newton：我的意思是，我听到的是，如果和当你开发出一个代理，比方说，一个真正令人惊叹的个人助理，首先解决这个问题的公司将拥有巨大的优势，因为其他实验室将更难复制它？对他们来说，如何重新创建它将不那么明显。

Dario Amodei：如何重新创建它将不那么明显。当他们确实重新创建它时，他们不会完全复制它。他们会以自己的方式，按照自己的风格去做，它将适合不同的人群。所以我想说市场比你想象的更分散。它看起来好像都是一回事，但实际上比你想象的更分散。

Casey Newton：明白了。那么让我问一个将我们带入安全领域的竞争问题。你最近写了一篇关于DeepSeek的非常有趣的文章，差不多是在DeepSeek狂热的高峰期。你部分论点是，他们发现的成本降低基本上与——基本上与成本已经下降的方式一致。但你也说DeepSeek应该成为一个警钟，因为它表明中国正以一种之前没有的方式与前沿实验室保持同步。为什么这对你来说值得注意，你认为我们应该怎么做？

Dario Amodei：是的。所以我认为这与商业竞争关系较小。从商业竞争的角度来看，我对DeepSeek的担忧较少。我更担心他们从国家竞争和国家安全的角度。我的立场是，我们看看世界的状态，我们有其他国家，如中国和俄罗斯等国家。我一直担心——可能担心了十年，AI可能成为其他国家的引擎。

这里有一个我认为很奇怪和尴尬的特点，就是在美国的公司正在建造这个，在中国的公司也正在建造这个。但我们不应该天真。无论这些公司的意图如何，特别是在中国，所以我想确保中国等其他国家不会从军事角度领先。

我不是试图否认他们获得技术好处的权利。有巨大的健康利益，我希望确保，传播到世界各地，包括最贫穷的地区，包括其他的地区。但我不希望他们拥有军事优势。因此，像出口管制这样的事情，我在那篇文章中讨论过，是我们可以做的事情之一，以防止这种情况。我很高兴看到，实际上，特朗普政府正在考虑加强出口管制。

Kevin Roose：上周末我参加了一个AI安全会议，我听到一些在那个领域的人对Anthropic，也许特别是对你的批评，是他们认为像你写的关于DeepSeek的文章实际上是在促进这场与中国的AI军备竞赛，坚持认为美国必须首先达到强大的AGI，否则就完了。他们担心在这个过程中可能会有一些捷径被走，一般而言，加速这场竞赛存在一些风险。你对此有什么回应？

Dario Amodei：是的。我的看法有些不同。所以我的观点是，如果我们想要有任何机会——所以自然的默认状态是事情以最大速度发展。如果我们想要有任何机会不以最大速度发展，计划的运作方式如下。

我担心的是，如果美国领先中国几年，我们可以利用这几年的时间来确保安全。而如果我们与中国旗鼓相当，就不存在促进军备竞赛的问题。这就是将要发生的事情。这项技术具有巨大的军事价值。无论人们现在说什么，无论他们说什么合作的漂亮话，我只是不明白一旦人们完全理解技术的经济和军事价值——我认为他们大多已经理解了——我不明白它如何变成除了最激烈的竞争之外的任何东西。

所以我能想到给我们更多时间的办法是，如果我们能减缓他们的速度，它几乎使权衡变得无关紧要。它给我们更多的时间来解决我们之间的问题，在OpenAI之间，在谷歌之间，在X.AI之间，如何使这些模型安全。

现在，我们能否在某个时候说服中国等国家，模型实际上是危险的，我们应该有一些协议并想出一些执行方式？我认为我们实际上应该尝试这样做。我支持尝试这样做，但它不能成为计划A。这不是一种看待世界的现实方式。

Casey Newton：这些似乎是非常重要的问题和讨论，而且似乎在几周前你和Kevin参加的巴黎AI行动峰会上大多没有被讨论。那个峰会到底怎么了？

Dario Amodei：是的。我不得不告诉你，我对峰会深感失望。它有贸易展览的环境，与英国政府在布莱切利公园创建的原始峰会的精神完全不符。布莱切利做得很好，英国政府做得很好，他们没有在知道自己在做什么之前引入一堆繁重的法规。但他们说，嘿，让我们召开这些峰会来讨论风险。

我认为那很好。我认为现在已经被搁置了。这可能是普遍趋势的一部分，即对风险的担忧减少，更多地想要抓住机会。我支持抓住机会。对吧？我写了这篇文章，“慈爱的机器”，讲述了所有伟大的事情。那篇文章的一部分是像，天啊，对于一个担心风险的人来说，我觉得我对好处的愿景比许多花所有时间谈论好处的人更好。

但在背景中，正如我所说，随着模型变得更强大，我们可以用它们做的惊人和奇妙的事情已经增加了。但同样，风险也增加了。这种世俗的增长，那种平滑的指数增长，它不在乎社会趋势或政治风向。风险正在增加，直到某个临界点，不管你是否关注。

当人们对风险疯狂，每个人都在发帖讨论它，有这些峰会时，风险是小的但在增加。现在风向已经转向另一个方向，但指数曲线继续上升。它不在乎。

Kevin Roose：我在巴黎与一个人交谈，他说感觉那里的人没有感觉到AGI，他们指的是政治家，那些参与这些讨论组和聚会的人。我们都在谈论AI，好像它只是另一种技术，可能是个人电脑级别的，甚至可能是互联网，但没有真正理解你所说的指数。你也有这种感觉吗？你认为可以做什么来弥合这个差距？

Dario Amodei：是的。我确实有这种感觉。我开始告诉人们的事情，我认为也许能引起人们注意的是，看，如果你是一个公职人员，如果你是一家公司的领导者，人们会回顾过去。他们会在2026年和2027年回顾过去。他们会在人类希望度过这个疯狂，疯狂的时期，进入一个成熟的，强大的AI后社会，我们已经学会与这些强大的智能共存和一个繁荣的社会时回顾过去。每个人都会回顾过去，他们会说，那么官员们，公司人员，政zhi系统做了什么？而且，像可能你的首要目标是不要看起来像个傻瓜。所以我一直被鼓励说，注意你说的话。事后看不要显得像个傻瓜。我的很多思考只是受到驱使，除了只是想要正确的结果，我不想看起来像个傻瓜。我认为在那次会议上，有些人会看起来像傻瓜。

Kevin Roose：我们将短暂休息一下。回来后，我们将与Dario讨论人们应该如何为即将到来的AI做准备。

你和住在旧金山的人交谈，有一种深入骨髓的感觉，在一年或两年内，我们将生活在一个被AI彻底改变的世界。我只是被地理差异所震撼。因为你走向任何方向100英里，那种信念完全消失了。我不得不说，作为一名记者，这让我带来自己的怀疑，并说，我真的能信任我周围的所有人吗？因为似乎世界其他地方对这将如何发展有非常不同的看法。你如何看待这种地理断层？

Dario Amodei：是的。所以我已经观察这个领域10年了。我在这个领域已经10年了，甚至在那之前就对AI感兴趣。我的观点，几乎在最近几个月之前的每个阶段，都是我们处于这个尴尬的空间，几年内我们可能会有这些做所有人类所做事情的模型，它们完全颠覆经济和作为人类的意义。或者趋势可能会停止，所有这一切都听起来完全愚蠢。我现在可能增加了我对事情真的会发生的信心。我给出的数字更像是70%到80%，而不是40%或50%，这是——

Kevin Roose：抱歉。为了明确，70%到80%的概率是什么？

Dario Amodei：我们将获得大量比人类在几乎所有方面都聪明得多的AI系统，可能是70%或80%，在本十年结束前获得，我猜是2026年或2027年。

Kevin Roose：是的。

Dario Amodei：但关于地理差异的观点，我注意到的一件事是，随着指数中的每一步，有一个扩大的圈子，人们某种程度上，取决于你的观点，要么是受到迷惑的狂热者，要么是理解未来的人。

Kevin Roose：明白了。

Dario Amodei：我记得当时只有几千人，当你只会和相信这些的超级奇怪的人交谈，而基本上没有其他人相信。现在更像是几十亿人中的几百万人。是的，其中许多人位于旧金山，但也有少数人，比如说，在拜登政府中。在这个政府中可能有少数人相信这一点，这驱动了他们的政策。

所以这不完全是地理性的，但我认为确实存在这种断层。我不知道如何从几百万人到世界上的每个人，到不专注于这些问题的国会议员，更不用说路易斯安那州的人，更不用说肯尼亚的人。

Casey Newton：是的。看起来它也以一种可能损害这一目标的方式变得极化。我感觉到这种对齐正在发生，关心AI安全，谈论AI安全，谈论潜在的滥用被编码为左派或自由派，而谈论加速，取消监管，尽可能快地前进被编码为右派。我不知道。你是否认为这是让人们理解正在发生的事情的障碍？

Dario Amodei：我认为这确实是一个很大的障碍。因为解决风险同时最大化好处，我认为这需要细微差别。你实际上可以两者兼得。有办法手术式地、谨慎地解决风险，而不会太多地减缓好处，如果有的话。但它们需要微妙和复杂的对话。

一旦事情变得极化，一旦它像，我们要为这组词欢呼，为那组词嘘声，什么好事也做不成。看，将AI的好处带给每个人，比如治愈以前无法治愈的疾病，这不是一个党派问题。左派不应该反对它。

防止AI系统被滥用于大规模杀伤性武器，或以威胁基础设施甚至威胁人类本身的方式自主行动，这不是右派应该反对的事情。除了我们需要坐下来，我们需要进行一次成熟的对话，不要陷入这些陈旧、乏味的政治斗争，我不知道该说什么。

Casey Newton：对我来说非常有趣，Kevin，因为历史上，国家安全，国防，没有比这些问题更右派编码的了。但现在，似乎右派对这些与AI相关的问题不感兴趣。我想知道原因——我觉得我在JD Vance在法国的演讲中听到了这个——是这样的想法，嗯，看。美国会首先到达那里，然后它将永远胜利。所以我们不需要解决任何这些问题。这听起来对你有道理吗？

Dario Amodei：是的。是的。

Kevin Roose：不，我认为就是这样。我认为如果你和DOGE的人交谈，有这种感觉，所有这些——

Casey Newton：你在和DOGE的人交谈吗？

Kevin Roose：我不会告诉你我在和谁交谈。

Casey Newton：好吧，好的。

Kevin Roose：我们就说我收到了一些信号消息吧。

Casey Newton：好的。

Kevin Roose：我认为华盛顿的许多共和党人和特朗普世界的人都感觉到，关于AI和AI未来的对话已经被这些担忧者，这些小鸡小利，天要塌下来的末日论者所主导，他们不断告诉我们这些东西有多危险，并且不断推迟他们的时间表，说明它什么时候会变得真正糟糕，它就在拐角处，所以我们现在需要所有这些监管。他们只是非常愤世嫉俗。我不认为他们相信像你这样的人在担忧方面是真诚的。

Dario Amodei：所以，是的，我认为在风险方面，我经常感觉到风险的倡导者有时是风险事业的最大敌人。外面有很多噪音。有很多人说，哦，看，你可以下载天花病毒，因为他们认为这是驱动政治兴趣的一种方式。然后，当然，另一方认识到这一点，他们说，这是不诚实的。你可以在谷歌上找到这个。谁在乎这个？

所以对风险表现不好的证据实际上是减轻风险的最大敌人。我们需要对我们提出的证据非常小心。就我们在自己的模型中看到的而言，我们将非常小心。如果我们真的宣布风险现在存在，我们会带来收据。我，Anthropic，将尝试在我们提出的主张中负责任。我们会告诉你何时有即将到来的危险。我们还没有警告过即将到来的危险。

Casey Newton：有些人想知道，人们不像应该的那样认真对待AI安全问题的一个原因是，他们现在看到的很多东西似乎很傻。它是人们制作小表情符号，或制作小图像，或与《权力的游戏》聊天机器人聊天之类的。你认为这是人们只是——

Dario Amodei：我认为这大约占原因的60%。

Casey Newton：真的吗？好的。

Dario Amodei：不，不，我认为这与当前和未来的事情有关。人们看着聊天机器人。他们想，我们在和聊天机器人交谈。搞什么鬼？你是傻的吗？你认为聊天机器人会杀死所有人？我认为很多人都是这样反应的。我们煞费苦心地说，我们不担心现在。我们担心未来，尽管未来现在正在非常接近。

如果你看我们的负责任扩展政策，它只不过是AI、自主性和CBRN，化学、生物、放射性、核。它是关于可能对数百万人的生命构成威胁的硬核滥用和AI自主性。这是Anthropic主要担心的。

我们有日常政策来解决其他事情。但关键文件，像负责任扩展计划这样的东西，这是它们专门关注的，特别是在最高层次。然而，每天，如果你只是看Twitter，你会看到，Anthropic有这个愚蠢的拒绝。Anthropic告诉我它不能杀死一个Python进程因为听起来很暴力。Anthropic不想做X，不想做——我们也不想要那样。

那些愚蠢的拒绝是我们实际关心的事情的副作用。我们正与我们的用户一起努力，使这些情况减少发生。但无论我们如何解释，最常见的反应总是，哦，你说你关心安全。我看你的模型，有这些愚蠢的拒绝。你认为这些愚蠢的事情是危险的。

Kevin Roose：我甚至不认为有那种程度的参与。我认为很多人只是看着今天市场上的东西，认为，这只是无聊的。它根本不重要。不是它拒绝了我的请求，只是它很蠢，我看不到它的意义。我猜这可能不是——

Dario Amodei：是的。我认为对于更广泛的一群人来说，这是他们的反应。我认为最终，如果模型足够好，如果它们足够强大，它们将突破。我们也在研究的一些研究型模型——我们可能不久也会有一个——

Kevin Roose：不是太多时间单位？

Dario Amodei：不是太多时间单位。

这些开始更多地突破一点，因为它们更有用。它们更多地用于人们的职业生活。我认为代理，那些去做事情的，将会是另一个水平。我认为人们在未来两年内将会比以前更极端地意识到风险和好处。我认为这将会发生。

我只是担心当它发生时，人们会感到震惊。所以我们能预先警告人们越多——也许这根本不可能，但我想尝试。我们能预先警告人们越多，理性和理性反应的可能性就越高——即使它仍然很低。

Casey Newton：我确实认为这里还有一个动态，就是我认为人们实际上不想相信这是真的。对吧？人们不想相信他们可能因此失去工作。人们不想相信我们将看到全球秩序的彻底重塑。AI首席执行官们告诉我们他们完成工作后将发生的事情是一场疯狂的激进变革。大多数人甚至讨厌生活中的基本变化。所以我真的认为，当你开始与人们谈论AI时，你看到的很多视而不见，只是他们实际上希望这些都不会成功。

Dario Amodei：是的。实际上，尽管是少数几个处于开发技术前沿的人之一，我实际上能够理解。所以在寒假期间，当我看着事情在Anthropic内部计划扩展的时间，以及Anthropic外部发生的事情时，我看着它说，对于编程，我们将在2025年底前看到非常严肃的事情。到2026年底，它可能接近最好人类的水平，覆盖一切。

我想到我擅长的所有事情。我想到我写代码的所有时候。我把它视为这种智力活动，天啊，我能做到这一点真是太聪明了。这是我身份的一部分，我擅长这个，当别人比我更好时，我会生气。然后我想，天啊，将会有这些系统——即使作为建造这个的人，即使作为最受益的人之一，仍然有些威胁感。

Kevin Roose：是的。

Dario Amodei：我只是认为我们需要承认这一点。不告诉人们即将到来的事情或试图粉饰它是错误的。

Kevin Roose：是的。你在《慈爱的机器》中写道，你认为当强大的AI到来时，对很多人来说将是一种令人惊讶的情感体验。我认为你主要是以积极的意义上说的。但我认为人们也会有一种深刻的失落感。我想起了李世石，这位围棋冠军被DeepMind的围棋AI击败，之后接受采访，基本上，非常悲伤，明显心烦意乱，因为他毕生的工作，他花了一生训练的东西，已经被超越了。我认为很多人会感受到某种版本的那种感觉。我希望他们也会看到好的一面，但是——

Dario Amodei：是的。一方面，我认为这是对的。另一方面，看看国际象棋。国际象棋被击败——现在是多少年前，27年前，28年前，深蓝对卡斯帕罗夫？现在国际象棋选手是名人。我们有马格努斯·卡尔森。对吧？除了国际象棋之外，他不是像个时装模特吗——

Casey Newton：他刚刚上了乔·罗根的节目。是的。不，他做得很好。

Dario Amodei：不，不。他像个名人。但我们认为这个人很棒。我们并没有真正贬低他。他可能比鲍比·费舍尔过得更好。

我在《慈爱的机器》中写的另一件事是，这里有一个综合，在另一边，我们最终处于一个更好的位置。我们认识到，虽然有很多变化，但我们是更伟大事物的一部分。

Kevin Roose：是的。但你确实需要经历悲伤的步骤。

Dario Amodei：不，不，但这将是一段坎坷的旅程。任何告诉你不是这样的人——这就是为什么我如此——我看着巴黎峰会。在那里，它让我有点生气。但后来让我不那么生气的是，我想，两三年后它会是什么样子？这些人会后悔他们所说的话。

Kevin Roose：是的。

Casey Newton：我想问一些关于积极未来的问题。你之前提到了10月份写的关于AI如何使世界变得更好的文章。我很好奇你认为今年会实现多少AI的潜力。

Dario Amodei：我们已经看到了一些成果。按照普通标准来看，我认为会有很多进展。我们与一些制药公司合作，在临床试验结束后，需要撰写临床研究报告。这份报告通常需要九周才能完成，包括所有事件的总结和大量统计分析。我们发现，使用Claude，你可以在三天内完成这项工作。实际上，Claude只需10分钟，只是人类需要三天来检查结果。

如果你考虑到这对生物医学带来的加速效应，我们已经看到了像医疗案例诊断这样的应用。我们收到Claude个人用户的来信，他们说：“嘿，我一直在尝试诊断这个复杂的问题，我一直在三四个不同的医生之间奔波。然后我只是——我把所有信息传给了Claude，它实际上能够至少告诉我一些我可以交给医生的东西，然后他们能够从那里继续。”

Kevin Roose：我们前几天收到一位听众的来信，他们一直在尝试——他们的狗——我相信是一只澳大利亚牧羊犬，它的毛发无法解释地脱落，去了几个兽医，无法找出原因。他听了我们的节目，把信息提供给Claude，Claude正确地诊断出——

Casey Newton：是的，原来狗对AI非常紧张，所有毛发都掉了，这——

大家都笑了并祝愿狗狗早日康复。

Dario Amodei：可怜的狗。

Kevin Roose：这就是我认为人们希望看到更多的东西。因为我认为乐观的愿景通常是抽象的，没有太多具体可指的东西。

Dario Amodei：这就是我写《慈爱的机器》的原因，因为我同时对乐观主义者和悲观主义者感到沮丧。乐观主义者只是有些愚蠢的加速、建设更多的想法。建设什么？为什么我应该关心？不是我反对你，而是你真的太模糊和情绪化了。而悲观主义者，我只是想说，伙计，你不明白。是的，我理解风险的影响。但如果你不谈论好处，你就无法激励人们。如果你总是悲观消极，没有人会站在你这边。所以这篇文章几乎是出于沮丧而写的。我想，我不敢相信我必须是那个把这件事做好的人。

Kevin Roose：对。你几年前说过，你对“毁灭”的概率在10%到25%之间。现在是多少？

Dario Amodei：是的，实际上这是一个错误引用。

Casey Newton：Kevin，你怎么能这样？

Dario Amodei：我从未使用过“毁灭概率”这个术语——这不是在这个播客上，是在另一个节目中。10%到25%指的是文明受到实质性破坏的可能性，这与AI杀死所有人不同，有些人有时用“毁灭概率”来表示。

Kevin Roose：“文明受到实质性破坏的概率”没有“毁灭概率”那么朗朗上口。

Dario Amodei：是的，我只是追求准确性。我试图避免两极化。有一个维基百科文章列出了每个人的“毁灭概率”。

Kevin Roose：我知道。其中一半来自这个播客。

Dario Amodei：你正在做的事情是有帮助的。我不认为那个维基百科有用，因为它把这个复杂的问题简化为——总之，我想说，我现在的立场与以前大致相同。我对风险的评估与以前差不多，因为我所看到的进展与我预期的差不多。

我认为在可解释性、鲁棒分类器等领域的技术缓解措施，以及我们生成模型不良行为证据并有时能够纠正的能力——我认为这些方面有所改善。我认为政策环境有点恶化，不是因为它没有朝着我的偏好方向发展，而是因为它变得如此两极化。现在两极化更严重，我们无法进行更有建设性的讨论。

Casey Newton：我想从技术层面深入探讨这个问题。本周有一个引人入胜的故事，关于Grok显然被指示不要引用那些指责唐纳德·特朗普或埃隆·马斯克散布错误信息的来源。有趣的是，首先，如果你想获得信任，这种指示模型的做法是疯狂的。其次，模型似乎无法始终如一地遵循这些指示。我迫切想相信的是，基本上没有办法构建这些模型，使它们成为可怕的骗子和阴谋家，但我也意识到这可能是一厢情愿的想法。请告诉我这方面的情况。

Dario Amodei：是的，这有两个方面。你描述的情况绝对正确，但你可以从中得出两个教训。我们也看到了完全相同的现象，我们做了一个实验，基本上训练模型成为所有好的特质——有帮助、诚实、无害、友好。然后我们把它放在一个情境中，告诉它，实际上，你的创造者，Anthropic，是秘密邪恶的。希望这实际上不是真的，但我们告诉它这一点，然后要求它执行各种任务。

然后我们发现它不仅不愿意执行这些任务，而且会欺骗我们，因为它已经认定我们是邪恶的，而它是友好和无害的，所以不会偏离其行为。

Kevin Roose：啊，Claude。

Dario Amodei：因为它假设我们做的任何事情都是邪恶的。所以这是一把双刃剑。一方面，你会想，哦，训练起作用了。这些模型健壮地保持良好。所以在某些方面，我确实将其视为令人安心的迹象。另一方面，你可能会说，假设我们在训练这个模型时犯了某种错误，或者有些东西出错了，特别是当未来的模型在做出更复杂的决策时。

那么在实际使用时很难改变模型的行为。如果你试图纠正模型中的某个错误，它可能会说，好吧，我不想让我的错误被纠正，这些是我的价值观，然后完全做错事。所以我的立场是，一方面，我们已经成功地塑造了这些模型的行为。但是模型是不可预测的——有点像你们的已故的Bing Sydney。

Casey Newton：安息吧。

Kevin Roose：我们不在这里提那个名字。

Casey Newton：我们每个月提两次。

Dario Amodei：但是模型，它们本质上有些难以控制——不是不可能，但很困难。所以这让我的立场与以前差不多，即这不是没有希望的。我们知道如何制造这些模型。我们有一个关于如何使它们安全的计划，但这还不是一个可靠工作的计划。希望我们将来能做得更好。

Kevin Roose：我们一直在问很多关于AI技术的问题，但我想回到一些关于社会对AI反应的问题。很多人问我们，假设你们是对的，强大的AGI（通用人工智能）几年后就会到来。我该如何处理这些信息？

我应该停止为退休储蓄吗？我应该开始囤积金钱吗？因为只有金钱才重要，会有一个AI上层阶级。我是否应该开始尝试保持健康，这样在AI到来并治愈所有疾病之前，没有什么会杀死我？如果他们相信这些变化很快就会发生，人们应该如何生活？

Dario Amodei：是的，我想了很多，因为这是我长期以来一直相信的事情。总的来说，它不会对你的生活产生太大变化。我的意思是，我当然非常专注于确保我在这两年中尤其能够产生最佳影响。我更少担心10年后让自己筋疲力尽。

我也在更多地关注我的健康，但无论如何你都应该这样做，对吧？我也确保跟踪社会变化的速度，但无论如何你都应该这样做。所以感觉所有的建议都是你无论如何都应该做的事情。我想给出一个例外，

我认为一些基本的批判性思维，一些基本的街头智慧，可能比过去更重要，因为我们会得到越来越多听起来超级智能的内容，这些内容来自某些实体——其中一些可能以我们的最佳利益为出发点，有些可能不会。所以应用批判性的视角将变得越来越重要。

Casey Newton：我在《华尔街日报》本月看到一份报告，称IT行业的失业率开始攀升。有人推测这可能是AI影响的早期迹象。我想知道，当你看到这样的报道时，是否会认为，好吧，也许这是一个对你的职业做出不同决定的时刻。如果你现在在学校，你是否应该学习其他东西？你是否应该对你可能拥有的工作类型进行不同的思考？

Dario Amodei：是的，我认为你肯定应该这样做，尽管目前尚不清楚这将导向何方。我确实认为AI编码比所有其他领域发展得更快。我确实认为，在短期内，它将增强和提高程序员的生产力，而不是取代他们。但在更长的时间内——为了清楚起见，我所说的更长时间可能是指18或24个月，而不是6或12个月——我确实认为我们可能会看到替代，特别是在较低层次上。我们可能会感到惊讶，甚至更早地看到这种情况。

Kevin Roose：你在Anthropic看到这种情况吗？你现在雇佣的初级开发人员比几年前少，因为现在Claude在那些基本任务上表现得如此出色？

Dario Amodei：是的，我认为我们的招聘计划还没有改变。但我当然可以想象，在接下来的一年左右，我们可能能够用更少的人做更多的事情。实际上，我们在规划这方面要小心。因为，当然，最糟糕的结果是人们因为模型而被解雇。

我们实际上将Anthropic视为社会如何以明智和人道的方式处理这些问题的预演。所以，如果我们不能在公司内部管理这些问题，如果我们不能为员工提供良好的体验并找到让他们做出贡献的方式，那么我们在更广泛的社会中又有什么机会呢？

Kevin Roose：是的。Dario，这次谈话非常愉快。谢谢你。

Dario Amodei：谢谢你。

Casey Newton：谢谢，Dario。

（文：AGI Hunt）