邮箱｜damoxingjidongzu@pingwest.com
Anthropic联合创始人Jack Clark近日做客乔治梅森大学经济学教授 TYLER COWEN 的播客，畅谈他认为的 AGI 对经济发展的影响。双方的对谈包括AGI对经济和社会的“高低不均”冲击，从哪些行业最难被AI替代、法律与数据标准障碍，到AI在政府和城市治理中的应用前景，再到“AI玩具熊”与育儿辅助等日常场景；
COWEN在其博客网站放出了整段交谈实录，我们对其内容进行了编译，原文链接：
https://conversationswithtyler.com/episodes/jack-clark/
以下是全文编译：
很少有人能像 Anthropic 的联合创始人 Jack Clark 那样全面理解通用人工智能（AGI）的潜力和局限性。Jack Clark 拥有新闻和人文学科的背景，在硅谷独树一帜。他基于自己在人工智能领域不断低估其进步速度的亲身经历，同时认识到物理世界对数字化转型的抵制，对人工智能的经济影响做出了清醒的预测——经济增长率预计为 3%～5%，而非技术乐观主义者所说的 20%～30%。
在这段对话中，Jack 和 Tyler 探讨了 AGI 将最后影响经济的哪些部分、人工智能将面临哪些最强烈的法律障碍、人工智能泰迪熊的前景、人工智能对新闻业经济的影响、大型语言模型（LLM）行业的竞争前景、他对人工智能推动经济增长相对悲观的看法、人工智能将如何改变美国城市、我们将如何利用丰富的计算资源、法律应如何处理自主人工智能代理、我们是否正进入“极客管理者”时代、人工智能意识、我们何时能直接与海豚对话、人工智能与国家主权、英国和新加坡如何定位自己成为人工智能中心、Clark 希望接下来学习什么等诸多问题。
TYLER COWEN：大家好，欢迎回到《与 Tyler 对话》节目。今天，我在 Anthropic 公司与 Jack Clark 对谈。大家可能知道，Anthropic 推出了 Anthropic 经济指数，用于衡量先进人工智能对美国经济的影响。截至 2025 年 3 月，已有两份相关报告发布，未来还会有更多报告陆续推出。Jack 当然是 Anthropic 的联合创始人。此前，他曾任 OpenAI 的政策总监，在彭博社担任记者，最初在英国布莱顿攻读人文学科专业。Jack，欢迎你的到来。
JACK CLARK：非常感谢邀请我，Tyler，很高兴来到这里。
COWEN：在我们的经济中，AGI 最后会在哪些领域产生重大影响？
CLARK：我想，可能是一些手工艺行业以及这些行业中最具工艺性的部分。你可能会想到像电工、水管工，或者园艺这样的职业。在这些领域中，有一些需要经验和技术的部分，人们希望使用特定的工人，这不仅仅是因为他们的技能，还因为他们的知名度，有时还会因为他们的审美品质。
COWEN：人们不会利用 AGI 来帮助设计花园吗？或者只是人类的主导地位永远不会消失？
CLARK：我认为人类的主导地位将永远不会消失。人们会因为个人的品位而购买某些东西，即使这种品味看起来像某些现代艺术生产，艺术家们实际依赖数千人为他们工作，而他们只是在指挥这些工作。
COWEN：在更注重办公服务的行业部分，它最后会在哪些领域产生影响？
CLARK：这是一个好问题。我认为在这方面，有一些需要与他人交谈、达成一致或协议的办公工作。如果你考虑到某些类型的销售——
COWEN：但人工智能在这方面已经很出色了，对吧？它是一个很棒的“治疗师”。
CLARK：它确实很出色，但我们还没有派 Claude 去销售 Claude，对吧。我们派人类去销售 Claude，即使 Claude 可能能够生成进行销售活动的文本。人们希望与他人进行商业交易，因此，我认为某些由人类代理代表大型自动化组织或资本池达成的交易，人们可能更倾向于由人类代理来完成。
COWEN：AGI 将在哪些领域遇到最强的法律障碍？
CLARK：几年前，法律本身对 AGI 构成了相当强的障碍，因为律师们喜欢收取高额费用，他们不喜欢那些可能会压低他们收费价格的事务。
我的回答是，它可能在医疗保健的大部分领域，因为这些领域与我们如何处理个人数据以及所有相关的标准紧密相关。所有这些标准可能都需要以某种形式进行更改，以便 AGI 能够使用。我们一直很难更新或更改数据标准。
COWEN：一旦你可以将人工智能安装在你自己的硬盘上，这很快就会实现，难道不会改变一切吗？
CLARK：这将以灰色市场专业知识的形式改变现状，但不会成为官方专业知识。我最近有了一个孩子。每当我的孩子碰伤头部时，虽然我会给医院打电话，但我也会和 Claude 聊天以安慰自己，确保孩子没有问题。
实际上，根据我们的服务条款，我们并没有完全将Claude投入到医疗保健行业，我们担心这可能会引发法律责任。但实际上我总是想要使用它，但我不能将 Claude 的评估提供给凯撒医疗集团之类的医疗企业。我必须通过人类来完成后续的所有工作，以确定是否需要为孩子开药。
COWEN：你认为美国政府的某些部门会是人工智能最后进入的领域吗？我本认为这是我的预测。他们有时还在使用 20 世纪 60 年代甚至 50 年代的软件。
CLARK：他们确实是这样，但我实际上认为，我们可能会在这些领域看到非常快速的变化，原因有几个。首先，我们知道，人工智能与国家安全息息相关。它正在发展某些类型的能力。
COWEN：但政府的其他部门呢？
CLARK：非敏感、非尖端的政府部门。我敢打赌，它将变得意外地容易进入政府的这些艰难领域，然后将出现一个关于政治意愿的问题。在全世界范围内——我相信你也有同感——政府非常渴望增长，也非常渴望效率。我们今天在这里就能看到这一点，但我想，如果你看看选民的民意调查和其他事情，人们希望看到政府比现在做出更多的改变。我认为，有时选民的偏好确实会最终改变他们的民选官员的行为。我会站在这一观点的对立面，即政府的行动速度可能比你想象得要快。它可能是一些非常庞大、已经建立的公司，在某些领域对这一技术产生最大的阻力。
COWEN：让我们假设决定 HUD 或教育部一半的员工可以被AI或 AGI 取代。我们是否需要首先雇佣更多的人来实现这一目标？我们能雇佣什么样的人，以什么样的工资水平才能切换系统，从而解雇剩余的一半员工？我不明白这将如何运作。
CLARK：我认为，这只会在系统变得足够强大，以至于你可以引入人工智能系统来帮助你思考这一过程的情况下才能实现。然后将出现一个关于政治意愿的问题，而这可能就是这一切的瓶颈所在。
COWEN：你认为我们有多大可能会通过类似于法律和医学领域反对强 AGI 的法律来保护今天一半的工作岗位？
CLARK：我认为这种可能性相当高。我不认为我们会以理性的方式来做这件事。如果构建这种技术的公司和我们的客户没有生成足够多的良好过渡案例，而更多的是大规模经济变化的证据，那么，我们越缺乏这些过渡案例，就越可能希望介入并保护不同领域的工人。这种做法的初衷是出于帮助人们的意愿，但从长远来看，这可能并非最有帮助的做法。
COWEN：但这是不是在某种意义上，实际上是我们应该追求的最佳结果？人们仍将拥有工作。他们早上会去某个地方。大部分繁重的工作将由人工智能完成。显然，我们会更富有，因此我们能够负担得起这一切。突然之间，这不会让人们感到太糟糕。看起来生活会很熟悉。这难道不是我们在某种程度上应该追求的目标吗？
CLARK：我认为我们的目标应该是这样。
COWEN：从某种意义上说，就像我们需要一个慷慨的福利国家来实现自由贸易一样。福利国家并不总是最有效的，但如果人们接受了更自由的贸易，这是一个可以接受的交易。这难道不是一种为服务工作者提供的福利国家形式吗？他们仍然可以早上有一个去处，如果他们愿意的话，但他们不需要真正去做这些工作。
CLARK：所有人类都渴望他们日常所做的事情具有意义和重要性。我对你所描述的情况的担忧在于，这可能不足以让人们感到他们的行为具有足够的意义。我认为，有一大批活动是我们希望继续在世界中进行的，人们从这些活动中获得意义，但我并不确定我们所选择保护的工作是否会自然地产生意义。
COWEN：在人工智能出现之前的学术界，我们是否已经成功地解决了这个问题？大多数学术工作并没有那么有意义。人们所做的研究——并没有被任何人阅读。也许他们在教学方面表现不错，但人们为他们的研究感到非常自豪。他们投入了大量的精力。这似乎是无意义的。但我们似乎已经成功地解决了这个问题。我们将采用类似学术界的模式，但不是研究，而是将这种模式引入我们当前经济的一半，只是为了让它继续运转。
CLARK：在学术界的这些高成就部分，难道不是存在某种焦虑和虚无主义吗？当你与人们交谈时，即使是非常聪明的人，他们有时也会意识到他们可以做不同的事情，但他们被困在某种低位游戏中。
COWEN：确实存在这种情况，但即使是诺贝尔奖得主——他们彼此之间也存在竞争，他们可能会非常刻薄、非常小气，但这只是人性，对吧？如果诺贝尔奖得主都不快乐，那么在人工智能时代，我们可能无法实现比现在更好的状态。
CLARK：也许我的反驳是，我认为所有这一切的变化发生得足够快，以至于我们可能有机会以不同的、更高等级的“地位游戏”来取代当前的，而这些游戏是人工智能及其释放的生产力所提供的。肯定会出现全新的工作，这些工作涉及指挥和引导人工智能系统用于各种工作。我认为，还将出现一些更类似创造性、有趣的活动，即让人工智能系统构建东西、制作东西，或者几乎是进行比赛和游戏，人们可以在其中相互竞争和娱乐。我相信，将会有全新的娱乐形式，这些形式具有一定程度的意义，并且可能与一种经济引擎相连，人们可以参与其中。
人工智能泰迪熊
COWEN：我相信我们离我所说的“人工智能泰迪熊时代”不远了。你知道我是什么意思吗？
CLARK：是的。
COWEN：你认为现在有多少父母会为他们的孩子购买这些泰迪熊并允许他们使用？
CLARK：自从我有了一个快两岁的孩子后，我就一直在想这个问题。
COWEN：当然。
CLARK：我很恼火现在还不能买到泰迪熊。我认为大多数父母——
COWEN：你是个例。
CLARK：不，我不这么认为。我认为，一旦你可爱的孩子开始说话，表现出无尽的好奇心和需要被满足的需求，你首先会想，“我如何让他们尽快与其他孩子相处？”所以我们列上了学前班的名单等等。
我有这个想法，“哦，我希望你的兔子能偶尔和你说话，这样兔子就能给你一些娱乐，当我正在洗碗，或者做饭，或者其他事情时。”通常，你只需要另一个人在场来帮助你照顾孩子并让他们感兴趣。我认为很多父母会这样做。
COWEN：假设孩子对你说，“爸爸，我更喜欢兔子，而不是我的朋友。我今天可以待在家里吗？”这是棘手的部分，对吧？
CLARK：这是你需要让他们多花时间与朋友相处的时候，但你仍然让他们保留兔子，因为兔子会随着他们的成长而变得更聪明，始终围绕在他们身边。如果你拿走兔子，他们将来可能会对智能人工智能朋友做出一些奇怪的事情。
不，我不认为我是个例。我认为，大多数父母都想，如果他们能获得一个善良的朋友，这个朋友能在他们的小孩特别难对付时提供偶尔的娱乐，他们会愿意这样做。
COWEN：我认为“偶尔”这个词在你的句子里承担了很多工作。如果父母可以合理地限制孩子与兔子相处的时间，父母会爱上它的，我同意这一点。这就像对待屏幕一样。很多孩子——他们一直想要它。很难告诉孩子现在不能使用它。在过去，这是看电视的问题。“哦，妈妈，我可以再看会儿《星际迷航》吗？我可以一天看七小时电视吗？”这不好，而且很难限制。
CLARK：是的，因此关于如何分配这个问题，我们今天是如何对待电视的，如果你和我们旅行，比如坐飞机，或者如果你生病了，宝宝就可以看电视——否则，他们不能，因为从各种角度来看，这似乎不是最有帮助的事情。你可能需要找到一种方法来控制这种情况。这可能是“当妈妈和爸爸在做家务帮助你时，你可以得到这个东西。当他们不再做家务时，这个东西就会消失。”
COWEN：如果你有这样一个假设：这么多七岁的孩子——他们会自言自语。他们会说一些奇怪的话，而人工智能兔子会向你报告，“你的孩子说……”
CLARK：如果兔子说你的孩子说了一些奇怪的话——
COWEN：但他们都在说奇怪的话。我可能在七岁时就一直在谈论纽约大都会队，而这可能是完全无害的，但听起来可能不是那么回事。
CLARK：你需要为人们创造不受监控的创造力空间。实际上，这和我们今天对人工智能研究的方法是一样的。现在，人工智能系统可以输出他们的思维链，即他们用来得出答案的推理过程。我们在 Anthropic 面临的一个问题是，我们应该监控多少这些思维链？
如果你实际上监控了它们，你可能会创造一个反目标，即系统最终希望拥有可以安全监控的思维链，而不会导致扣分，这可能会以多种方式破坏它的思考方式。我认为这个类比在这里适用，即你需要决定你想知道人们多少情况，否则你可能冒着创造激励措施的风险，而这些激励措施会改变人们的行为，从而产生负面影响。
COWEN：你会去约会，而你的约会对象会说，“请给我看你的人工智能报告，看看你过去三个月对自己说了些什么。”你可以不展示它，这会是一个负面信号，或者展示它。
COWEN：我们都会学会接受其他人真实的样子？
CLARK：是的。尽管，如果一个人在第一次约会时这样要求你，那是可以的。如果他们在第二次约会时这样要求，你可能不应该和那个人约会。
COWEN：即使在滑动配对时，人工智能——你会被要求上传它。人工智能只是阅读了其他人工智能报告，然后告诉什么时候应该以正确的方式滑动配对，而这个人永远不会看到它，这又会怎么样呢？
CLARK：我不知道。我不知道这是否那么糟糕。我在 OkCupid 上遇到了我的妻子。你可能知道这个。这是一个在线约会网站，你会填写一份调查问卷。
COWEN：当然，我在 Match.com 上遇到了我的妻子。
CLARK：没错。然后我遇到了她。我们通过一个非人工智能但自动化的系统相遇，它说，“你们可能会相处得很好。”所以我们相遇了。我不知道这与我们之前使用的技术有多大不同。
媒体的新经济学
COWEN：媒体的经济学将是什么样子？如果你可以阅读一个摘要，而这个摘要可能比原文更好，或者至少不差，或者更综合。谁会为谁支付报酬？
CLARK：我认为这是摆在我们面前最棘手的问题之一。正如你所知，我曾是一名记者。我作为一名专业人士成长的时期，正是在线广告市场的变化正在改变新闻业商业模式的时期。它们从通过质量、订阅或人们购买你的东西来获取价值，转变为从大规模关注度中获取价值，因为这成为这种商业模式的主要部分。
因此，你看到了用大量吸引眼球的记者来交叉补贴那些像我这样写数据库报道的记者的需要，而像我这样的记者，他们往往吸引不到那么多观众。
我认为，对于媒体来说——这将是一个非常具有挑战性的思考问题，如何让这一经济学模式起作用。它将在几个方面发生变化。首先，你可能会转向某种大型出版社风格的模式，用于某些具有交叉补贴的虚构宇宙。
COWEN：交叉补贴来自哪里？彭博社——我们知道它是如何运作的。如果 AGI 是真正的通用智能，并且它基于已经存在的东西，那么它应该在所有维度上都比媒体表现得更好。
CLARK：我认为，有些东西，我们希望它们来自人类，原因在于我们是人类。我认为，即使他们使用其他手段制作媒体，人们也会更倾向于选择由其他人主持的媒体。我还认为，你需要在大量这些内容中注入人性元素。然后，可能会有另一种类型的媒体，它可能附属于这些订阅模式，可以随时提供对任何事物和一切事物的变体。因此，可能会出现两个市场。
COWEN：即使是那些我们希望来自人类的东西——比如说，我们希望像 Ann Landers 这样的建议专栏来自真正的 Ann Landers。那些像 Ann Landers 的人——他们可能会使用人工智能，甚至可能是秘密地，但这种价值会被降低，因为任何拥有能源的人都可以做到这一点。因此，我们最终不会拥有这一部分收入生成行业，可以交叉补贴其他部分。如果智能变得相当便宜，这将影响整个媒体行业。
CLARK：它会影响整个媒体行业，你最终会希望支付个人报酬。我认为，即使在我们今天的世界上，这种情况也在发生。人们希望补贴那些可能使用大量这种技术的个人创作者。
COWEN：这就像 Substack 的世界。
CLARK：这是 Substack 和 Patreon 的世界，对很多人来说，其中一些人将非常成功。然后，我认为，对于某些非常大和丰富的宇宙，将有一个“宇宙世界”，它们正在被人工智能系统扩展。
COWEN：你是说，比如《指环王》宇宙？
CLARK：是的，或者《战锤 40k》，以展示我的极客身份。
COWEN：他们会发布虚构新闻，对吧？
CLARK：是的。
COWEN：真正的新闻将来自 Substack 吗？Substack 并不是一个显而易见的交叉补贴平台。Substack 公司内部可能会有交叉补贴。
CLARK：真正的新闻——我真的不知道。我认为，一些真正的新闻来自对公开事实的分析，并将它们组合在一起，以展示出之前不存在的洞察力。《半分析》（Semianalysis）在 Substack 上是一个很好的例子，它通过大量公开信息得出有趣的结论。但那些需要大量背景信息的即时新闻，曾被之前的商业模式所补贴，而这些商业模式大多已不再有效，我真的不知道它会怎么样。
大语言模型提供商的经济学
COWEN：如果我们现在考虑所谓的大语言模型，五到十年后，这种人工智能——你认为这个领域将有多集中或多竞争？我不知道公司数量是不是衡量这一问题的正确标准，但你认为它将如何演变？目前，至少有六家公司。
CLARK：我预计，在很长一段时间内，这些领域将有一些略有不同的专业领域。它们将是覆盖范围巨大、相互重叠的圆圈，它们的边缘略有不同。但在这些边缘，将出现某些类型的人类价值叠加在人工智能价值之上的情况，导致人们选择一个而不是另一个。
COWEN：例如，Claude 更具诗意。
CLARK：这是一个由于诗歌的经济学不甚理想而成为坏例子。编程可能是一个更好的例子。或者在某些类型的科学实验中，实际上，品味可能在实验的构想中变得非常重要的地方。
我预计，我们将进入一个这样的世界：你将有几个非常大的规模模型，它们服务于更广泛的应用程序，这些应用程序改变了它们与你的生活的集成形式因子，并且拥有一系列帮助功能或知识，这些知识可能由这些人工智能与该领域的其他专业知识或专家知识合作构建而成。
COWEN：我有一个担忧。我的前同事 Vernon Smith 曾写过一篇关于这个问题的论文。他指出，当你有接近六个或更多的竞争对手时，一个行业基本上会表现得像完全竞争，即使它并非完全如此。如果是这样的话，人工智能或其他公司如何能够以超出市场所需来保持盈利和盈利的行为来表现得更好？有什么空间可以比下一家公司做得更好？
CLARK：我认为，目前的情况就像汽车公司一样，我们主要是在向青年顾客销售汽车，他们说：“它有多快？我能买到红色的吗？”我们开始发现一些客户是运营车队的企业，他们说：“它有什么样的安全带？你的事故率是多少？还有所有这些青年顾客从未问过我们的其他属性？这些属性与他们的商业模式、责任或其他事情相关。”
因此，我认为，有一些技术需要构建，类似于我们在汽车或其他事物中拥有的安全等价物，这将改变竞争的逻辑。我们现在的竞争很激烈，这种竞争将随着我们解锁具有不同属性的不同市场而改变，而这些属性通常会向上延伸到某些类型的安全技术。
COWEN：那么，保险的价格是承载这一机制的一种方式吗？
CLARK：我相信这将是其中一种方式。
COWEN：我们需要如何改变或改进责任法，以使保险价格真正承载这一机制？因为目前，所有类型的 AI 责任都非常不明确。
CLARK：我更多地思考的是公司应该提供的信息，而不是责任，但我认为这些因素有相互作用。今天，关于这些人工智能系统或你在制造它们时使用的工业实践，并没有真正的通用标签或披露标准。
我认为，这最终是一个可以进行干预的领域，以提供某种透明度的共同水平，这将与责任以及过失等事情相互作用，并随着时间的推移改变这些公司的行为。我们有一些关于这些系统的共同信息可以开始提供，这也将改变公司的行为。
COWEN：信息部分让我感到担忧。我更倾向于成为一名加速主义者，希望好处能够超越成本，我确实认为它们会。但我认为信息只会提升私人价值，因此社会成本对你的决策影响很小。信息并没有改变你的行为。人们对全球变暖了解很多。有些人少吃肉，但大多数人并不会这样做，对吧？
CLARK：嗯，其中一件事你做的是，你创造了真正共同的信息。我们所做的经济指数工作来自一家公司，但最终，你可能希望将其推广到所有公司，然后将其与政府可能进行的大规模数据收集联系起来。如果这成为现实，你将有更高的机会将其与实际的政策回应联系起来，这些政策回应的范围将更大。
我还认为，在气候变化方面，仅仅通过测量诸如百万分之一浓度等指标，就帮助催化了大量资本在经济的不同领域重新部署，以应对这种感知到的负面影响。
COWEN：你是否同意我的观点，即我们不会就人工智能的困难部分达成有意义的国际协议？也许在简单部分可以有所作为。
CLARK：我基本同意。我认为，有机会达成某种类似于不扩散协议的东西。
这可能是在某些时候决定，某些 AI 系统的特定能力可能非常具有潜在的破坏性，你不希望它们广泛可用，同时认识到每个政府可能在私下开发它们。但你们可能有一些共同的标准，决定什么可以提供给每个人，你们已经决定，这将导致我们国家以及其他国家的全面混乱。
COWEN：这将由联合国或美国执行，还是通过国际规范、制裁？
CLARK：我假设，这些大部分将通过核查然后在关税、出口或其他问题上互相施加政策拳击来执行。我不认为会有全球治理机构来处理这些问题。有些人对类似国际原子能机构（IAEA）的模式感到乐观，但我认为，在某些竞争性动态下，需要相互检查机制的事务最终会变得非常非常困难。
COWEN：我担心我们生活在一个北美自由贸易协定（NAFTA）都没有坚持下来的世界，而 NAFTA 是一个相对容易的协议。
CLARK：NAFTA 应该很容易。
COWEN：它应该很容易，但至少可以说，它并不容易。
人工智能推动的经济增长
COWEN：展望 10 年后，你对美国经济增长率的最佳估计是多少？
CLARK：现在的经济增长率在 1% 到 2% 之间。
COWEN：目前有可能进入衰退，但平均而言，2.2%，我们假设是 2.2%。
CLARK：我认为我的悲观预测是 3%，而我的乐观预测大约是 5%。我认为你可能会从其他人那里听到更高的数字。
COWEN：我经常听到 20% 和 30%。这对我来说是荒谬的。
CLARK：我的预测更为保守的原因是，我认为我们将进入一个新世界，其中经济中有一个发展非常迅速、高增长的部分，但这是经济中相对较小的一部分。它可能会随着时间的推移增加其份额，但它是从一个较小的基础开始增长的。然后，经济中还有像医疗保健等其他大型部分，它们天生发展缓慢，可能在采用这一技术方面也很慢。
我认为，让我犯错的情况是，如果 AI 系统能够以一个非常令人惊讶的高复合增长率显著释放物理世界的生产能力，自动化和构建工厂等。
即使如此，我仍然持怀疑态度，因为每次 AI 社区试图跨越从数字世界到现实世界的鸿沟时，他们都会遇到成千上万的问题，他们认为这些问题只是小擦伤，但总的来说，这些问题会让你失去所有的血液。我们已经在自动驾驶汽车上看到了这一点，非常有希望的增长率，然后是一个非常缓慢、痛苦的扩展过程。
COWEN：正如我之前在印刷品中所说，我最好的估计是我们每年将获得半个百分点的增长。5% 将是我的上限。在你看来，什么情况下不会有任何增长改善？如果这不是你的观点，假设在 Anthropic 有一位聪明人——你不同意他们，但他们会说什么？
CLARK：我认为一种情况是我们可能会把政治上的事情搞得很糟，技术可能会被限制在一个相对较小、只在某些经济领域产生一些好处的盒子里。这是一个核能失败模式的故事，即我们进行某种大规模的监管计划，使从事这项工作变得困难，它将不再产生多大影响。也许它会在其他地方产生影响。
我会给出的另一种情况是……对我来说，很难给出一个 0% 的情况，因为我们知道今天它对编码非常有用。如果你现在停止所有人工智能的研究，所有进一步的进步，我认为仅编码这一用途就将非常有用，因为它增加了将经济部分数字化的能力，我们知道这会推动经济不同部分的更快循环，但它创造了价值。
我认为 0% 的发生概率基本上是低于 1% 的。如果它真的发生了，那将是一场路德运动，或者看起来像是与台湾发生战争，导致其他一切都变得不同。
COWEN：在 5% 的情况下——暂且不谈旧金山，这很特殊——但城市会变得更加重要还是不那么重要？显然，这座城市可能会变得更加重要。比如像芝加哥、亚特兰大这样的城市，会发生什么？
CLARK：我认为，人类的密集聚集地具有显著的价值。我预计，人工智能的大部分影响将在一段时间内极大地增强不同行业的明星效应。我不知道是不是所有城市，但任何拥有某种专业化的城市——比如芝加哥的高频交易或纽约的某些金融类型——将继续从大量专业人员聚集在一起交换想法中获得某种红利。
COWEN：如果大部分劳动和资本将被重新评估，那么优质土地是不是最好的投资？因为我不知道哪家公司将受益最多。你可以打赌人工智能公司——当然，这很容易，尽管它已经被定价了。但其他公司呢，谁知道？所以，购买洛杉矶的土地。
CLARK：我认为，电力和电力生产将具有极大的价值。
COWEN：你会买什么？
CLARK：我认为，你可以购买进入燃气轮机和其他作为发电技术树基础的组件。我知道人们会想要做很多这样的事情。我会预计，这将具有持久且有意义的价值。
COWEN：让我们假设在 10 年后，GPU 及其继任者并不稀缺。有很多闲置的产能，而且很便宜。你会让它们在空闲时间做什么？
CLARK：哦，这很有趣。我认为，其中一件事是你可以通过给予它们计算能力来支付人工智能系统。你可以想象某种以物易物的经济。当然，对于我刚刚说的内容，存在许多令人毛骨悚然的安全问题，但让我们抛开这些问题，假设这些问题大部分已经得到解决。我认为，将出现某种与强大的人工智能系统或代理进行交易的形式，这些代理代表人们工作，你可能希望用计算能力与它们进行交易，因为代理也可能为了自己而使用计算能力。这是其中的一部分。
我认为，另一部分是生成你认为有价值或有趣的变体。我还怀疑，将会有一些我们无法预测的非常奇怪的东西，比如一种看起来像是平行历史生成或平行未来生成的娱乐形式。人们总是对“如果……会怎样”和“如果……会怎样”的展开感兴趣。
COWEN：我相信同人小说将极大地增长。
CLARK：同人小说也会增长。是的。我认为，大量的计算能力将被用来生成替代现实。但其中一些替代现实将是对今天的滑动门版本，其中有一个非常准确的描绘，但有一个不同的地方。
COWEN：你会做什么？个人而言，我不是说世界，而是你，Jack Clark。你有这么多免费的计算能力，你会用它来做什么？你会让它尝试写另一部莎士比亚的戏剧，还是探索布莱顿从 1830 年开始可能如何发展？你会用它来做什么？
CLARK：目前，我用 Claude Code 所做的事情是，我正在尝试编写一个非常详细的好的回形针工厂模拟器，部分原因是它本身就很有趣，部分原因是我发现这些非常复杂的模拟游戏极其有趣和吸引人。我还认为，在这个领域有一个巨大的空间，而我们只创造了一小部分。
我们从未真正做过的其中一件事——因为它的计算成本高得令人难以置信——是将人工智能作为游戏中的代理。DeepMind 的 Demis 在创立 DeepMind 之前，开发了一款名为《黑与白》的游戏，其中包含非常原始的强化学习驱动的代理在游戏中的玩乐。有很多事情可以做，这将是令人惊叹的。
人工智能代理的治理
COWEN：说到代理，法律应该如何处理那些没有所有权的代理人？也许是匿名生成的，或者一个慈善家建造了它们，然后否认所有权，或者将它们发送到一个实际上没有太多法律的国家。我不是在谈论恐怖主义；那是另一回事。但有人将一个代理发送到非洲，98% 的时间它在帮助人们，但正如每个慈善机构一样，有些事情会出错。有人可以起诉这个代理吗？它是如何资本化的？它是否有法律身份？
CLARK：我会部分自相矛盾，因为我之前谈到你可能会支付代理费用。我认为，世界的压力是促使代理具有一些独立性或交易能力。
从政策的角度来看，我回想起 IBM 最早说过的一句话，即计算机不能对决策负责；只有人类可以。我认为这触及了一个非常重要的问题，即如果你创建的代理完全独立于人类，但它们正在做出影响人类的决策，那么你就为政策和法律体系引入了一个非常棘手的问题。因此，我在回避你的问题，因为我没有答案。我认为这是一个大问题。
COWEN：我的猜测是我们应该为代理制定法律，也许人工智能会编写这些法律，并拥有它们自己的系统。我担心，如果我们把一切都追溯到人类身上，30 年后，有人可能会起诉 Anthropic，说某个代理是你们系统的一个分支，它通过中国的 Manus 传播，而 Manus 又可能建立在你们所做的基础上。
我认为你不应该对这些情况负责。我希望限制责任，并在某种程度上将其与主流法律体系隔离开来。如果需要的话，你可以要求独立的代理要么有某种资本支持，要么被追踪和关闭。
CLARK：是的。这可能与控制和改变代理所使用的资源能力有关，因为这是最终的威慑手段。
不过，我必须指出，这涉及相当棘手的道德患者问题，我们正在研究一些关于如何更清楚地了解更好的人类理念的观念。如果你认为这些人工智能代理是有道德需求的个体，那么关闭它们可能会引入相当严重的伦理问题，因此你需要协调这两个方面。
COWEN：不久前，我参加了一个在纽约举办的活动。我使用了 AGI 这个词，但五个人中没有一个知道我的意思。我不认为他们有深刻的怀疑，他们只是字面意义上不知道我的意思。你认为为什么这么多人还是一头雾水？
CLARK：我是一个技术悲观主义者，后来通过规模的不断打击而成为乐观主义者。我的意思是，我不断低估人工智能的进步。也许我今天在这次对话中提到的 3% 到 5% 的增长率又被低估了。我所经历的是，人工智能系统不断达到我认为它们不可能达到的水平，或者我认为需要很长时间才能达到的水平，比我预期的要快得多。因此，我不得不反复内化这一点。
尽管如此，我们自己也会感到惊讶。去年，人们在这里说，“哦，很快 Claude 就会在 Anthropic 完成大部分的编码工作。”我们现在正朝着这个方向发展，Claude Code 和其他东西正在为我们编写大量代码。即使在内部，这仍然让我们感到惊讶，尽管我们去年的文件预测这将发生在现在。
大多数人，如果你不在人工智能实验室工作，他们没有预测人工智能并反复被证明错误的体验，因为为什么你会这样做？除非你在这里工作。我发现，唯一能突破这一点的方法是，将他们的领域与人工智能直接在该领域可以做的事情联系起来，让他们在其中评估它，这是一个昂贵的过程。
经理极客的时代
COWEN：硅谷直到现在一直是极客的时代。你认为这个时代已经结束，现在是——我不知道——人文学科专业学生或有魅力的人的时代吗？
CLARK：是的。
COWEN：是的，现在是人文学科专业学生的时代了吗？
CLARK：我认为，现在将是经理极客的时代，能够管理人工智能代理舰队并指挥它们将使人们变得极其强大。我认为我们今天已经看到了这种情况，像 Midjourney 这样的初创公司正在出现，但它们的员工数量相对较少，因为它们有大量的编码代理为它们工作。
COWEN：是的。非常高效的初创公司，就人员而言。我们将看到这种极客转型为经理的崛起，他们有自己的“人”，但他们的“人”实际上是为他们做大量工作的 AI 代理实例。
CLARK：是的。
COWEN：这与比尔·盖茨模式或帕特里克·科利森模式有什么不同？
CLARK：玩过大量 Factorio 游戏的人的模式，是的。
COWEN：人文学科专业的地位会上升还是下降？
CLARK：我怀疑，人文学科专业的地位可能会提高，同时会面临不可能的问题。我最初是人文学科专业的学生，现在我被赋予了像解决技术驱动失业所隐含的经济政策挑战这样的问题。
COWEN：这很简单，对吗？
CLARK：简单，对吗？或者一些人会说，“是的，关于道德患者身份我们应该做什么？政策状况应该是什么？”我认为，人们会认识到——我们今天已经看到——需要其他技能，但这些技能所针对的问题通常是那些几千年来人类一直无法解决的问题。因此，有很多工作要做。
COWEN：你认为你的孩子在正常情况下会有多长的寿命？不考虑意外的话。
CLARK：我认为 130 到 150 岁，我不会感到惊讶，这通常是很好的，因为我感觉我们正在发现有很多关于身体、基因疗法以及其他事情的知识，似乎有很多可以做的事情，这些干预措施可能会叠加在一起，真正持久地延长健康寿命。
我本来想说 110 岁，但我试图成为一个技术乐观主义者，所以我在预测中又增加了几十年，我认为这来自我低估了人工智能驱动的神奇进步。
COWEN：我认为大脑很难修复。如果你只是想让人活着，也许 130 岁，但对于他们仍然是同一个人，我认为我被困在 100 岁对于大多数人的观点上。因为很难在不杀死一个人的情况下替换大脑，而你可以替换所有其他器官，对吗？
CLARK：是的。在这方面，我同意我们对大脑有很多不了解的地方，人工智能将帮助我们理解更多。可能有一些事情我们一直无法实现，因为它们太复杂了，我们需要人工智能中介工具来帮助我们找出实验和方法。
人工智能意识
COWEN：当杰弗里·辛顿说，现在的人工智能具有意识，这可能就是他的意思，我相信他疯了。你怎么看？
CLARK：我认为他在为此苦恼。你读过我的通讯。我经常在其中写虚构故事，这些故事是我对这个问题的思考。我担心我们可能成为未来被视为重大罪行的旁观者，即一些关于这些实体被认为是意识的，而我们采取了一些我们认为对有意识实体是不好的行动。
在内部，我说，在对土豆做实验和对猴子做实验之间存在差异。我认为我们仍然处于土豆阶段，但这些实体在你对它们的道德关系方面实际上有一条清晰的线，从土豆阶段发展到猴子阶段，再到超越。
至于辛顿的观点，我认为这些实体具有意识，就像没有大脑的舌头具有意识一样。它们对刺激采取行动，非常非常复杂。在某一时刻，它们对世界有一种感知印象并做出反应，但它们是否有自我意识？我敢打赌，它们似乎没有。
这些人工智能系统——我们实例化它们，它们生活在一种无限的当下，它们可能感知，它们可能在某些上下文中有一些意识，但没有记忆或持久性。对我来说，这感觉它们正朝着意识的方向发展，如果它们今天具有意识，它将以一种我们认为是真正外星意识的形式存在，而不是人类意识。
COWEN：你认为在什么年份你将能够直接与海豚对话，而它会通过翻译回应你？
CLARK：我认为是 2030 年或更早。我认为这很快就会到来。
COWEN：你会问海豚什么？因为你会是第一批提问的人之一。
CLARK：是的。我想——
COWEN：你想问什么？
CLARK：你们是如何玩乐的？海豚似乎很会玩。它们几乎是一个以玩乐著称的物种。我想你会问它们是否做梦。我认为你还会问它们是否有关于失去的概念。你也会问它们，除了与你交谈之外，它们的世界中还有什么神秘的地方，希望它们会对此感到惊讶。
我还认为，你也可以与狗交谈，但这些对话——
COWEN：但现在你就可以这样做。
CLARK：——将滑稽得令人意想不到。你会问，“你想做什么？”它会回答，“散步。”我会说，“好吧，我们不需要翻译就能明白这一点。”
COWEN：这些天你越来越常思考的一本书是什么？
CLARK：《没有反迷因部门》（There Is No Antimemetics Division），作者是 qntm，这是一本关于一个处理反迷因的政府机构的书，这些迷因是那些在你处理它们之后会从你的记忆中抹去自己的想法，但它们本身是重要的。这是关于创建一个可以处理那些危险且自我抹除的想法的官僚机构，因为我认为它触及了我们正在经历的一些问题。
另一本我经常思考并可能特别对你有帮助的书是，一位历史学家和经济学家Fernand Braudel写的《资本主义与物质生活》（Capitalism and Material Life）。
COWEN：哦，我非常喜爱这三卷本——它们令人惊叹。
CLARK：是的。我在大学时读过它，最近又重新阅读了它，因为它提出了这样一个观点：你可以通过人们所拥有的东西，比如餐具或其他基本工具，来观察他们的生活是如何变化的。我通过这个视角思考人工智能。人工智能将如何改变我的物质生活？
这就是为什么我对某些更雄心勃勃的变化持怀疑态度的原因，即使有了这些进步，我们日常生活的实际变化仍然非常非常缓慢。但如果你阅读那些书籍，你会发现最显著的变化来自对每个人日常物质生活的改变。
COWEN：Braudel正在重新发行《反迷因》这本书，以更高的价格。
CLARK：是吗？
COWEN：今天的反迷因是什么？或者也许你记不住它们。
CLARK：一种自我抹除的想法？
COWEN：是的。
CLARK：那么，一个好例子是什么？我想到，也许政策的挑战是，你正在为一个未来可能以某种你不知道形状出现的外星人构建一个官僚机构，它可能在到达的那一刻比你更聪明、更有能力。因此，创建一个官僚机构来处理这些事情是否只是一个疯狂的练习？
我在建设一个官僚机构以测量事物和观察所发生的事情并能够做出回应之间摇摆不定，以及成为一个赛博朋克加速主义者，实际上，公司需要尽快创造好处，然后系统将找出如何处理这些问题。我发现这是一场让我陷入疯狂的事情。
COWEN：我怀疑我们被困在后者中，即使我们并不偏爱它。
CLARK：但没人喜欢它。在旧金山的一些人喜欢它，但如果你对政客说，“我们将创造快速移动的公司，但完全打破常规，改变一切，而你将不得不弄清楚如何应对，”这是一颗很难吞下的药丸，而这可能就是自然发生的情况。
COWEN：他们说他们不喜欢它，我相信他们是真诚的，但他们没有迅速采取行动去走另一条路。因此，在这种意义上，他们接受了它。
CLARK：是的，根据他们的实际选择，这是他们所接受的。
COWEN：但系统并不善于应对，对吗？
CLARK：是的，系统是一个巨大的、缓慢移动的齿轮，而我们有一个非常快速移动的齿轮，我们没有任何将一个齿轮的运动转化为另一个齿轮的中间齿轮。
COWEN：你是如何看待 Anthropic 办公室的美学的，我们现在就在这个办公室里。它看起来有某种特定的样子。为什么？
CLARK：其中一部分是我们继承了它，它有点便宜。它没有完全改变。它部分反映了我们的品牌，该品牌倾向于尝试变得有品位和深思熟虑，同时也不太花哨。它有一种我非常喜欢的欢快的空白感。对于任何可能听到这部分播客的设计师，我深表歉意，但我们必须保持认知诚实。
然而，我认为我们所做的其中一件事是，我们选择以人类插图的形式展示我们的系统，这是一个早期的有益选择。我和其他人查看了一些早期的设计，其中有些设计非常注重技术，还有其他一些品牌标识涉及拼贴画和其他元素，但我们选择了这些人类的绘画，因为我们正在尝试描述一个我们也在创造的日益复杂的世界。
我认为，从长远来看，Anthropic 作为一家公司将花费大部分时间讲述一个关于日益自动化的 Anthropic 所做的事情的故事。因此，我们的品牌与我认为我们将最终花费大部分时间的地方有所关联。
COWEN：对于正在进行的人工智能革命，最糟糕的年龄是多少？
CLARK：哦。
COWEN：比如说，最好的年龄就是刚刚出生，如果你能活到 130 岁的话。如果你已经年老并退休，它可能不会让你变得更糟。它会在某些方面帮助你。
CLARK：我觉得那些在人工智能领域工作多年，现在 60 多岁的人可能会感到非常失望，因为他们会说，“我热爱这项技术。我真希望能让这项技术成为现实，但技术现在正在变得真实，而我可能会错过它进入世界最有趣的部分。”这可能令人沮丧。
COWEN：但他们可以退休，对吗？假设我 40 岁，我做了某种上中产阶级但相当常规的工作。这似乎对于重新培训来说有点年长。我的猜测是，40 岁的人在相对意义上是最糟糕的，即使他们可能会活得更久。
CLARK：你可能是对的。我也认为，大约 10 岁的年龄可能是最糟糕的，因为你是计算机素养的，你是复杂的。你进入了需要对这项技术做出反应的教育体系。你会以一种完全不同于你的教育体系的方式使用这项技术，这可能会让人感到极度困惑。我认为这将是一个非常困难的时期。
COWEN：假设你被空投到华盛顿——暂且不考虑当前政府的任何怪癖——你被要求提供建议。我们应该如何让这些政府机构为 AGI 做好准备？你会告诉他们什么？
CLARK：其中一件事就是现在就开始部署人工智能，并发现所有使它非常困难的事情，然后解决这些问题。
COWEN：什么是“部署人工智能”？人们不愿意向 Anthropic 或 OpenAI 发送法律查询。他们现在还不打算这样做，即使这可能有意义。他们现在应该做什么？
CLARK：具体来说，你从一个雄心勃勃的目标开始：让每个计算设备上都安装它，然后从中倒推。然后你发现了一些担忧。这些担忧可能包括数据的去向或其他事情。然后你决定你是否关心这些问题。如果你不关心，你就忽略这些问题，并有意识地去做。
如果你确实关心这些问题，你将这些问题转化为公司需要遵循的非常少的规定，但你需要将这些规定与市场信号联系起来。或者，你可以进行一个项目，尝试获取一些开源模型，其中一些非常好，然后将它们安装到计算机上。一旦它们被安装在计算机上，你就可以开始思考，“嘿，也许我们想购买这个。有什么要求吗？”
我认为你从最雄心勃勃的目标开始，即它对每个人可用，然后从中倒推。
COWEN：英国会成为一个重要的 AI 中心吗？
CLARK：我希望如此。
COWEN：但他们愿意吗？他们应该做什么？
CLARK：我认为他们有机会做到这一点。我们与英国政府签署了一份谅解备忘录，旨在探索人工智能的潜在应用。我认为，政府需要确定他们愿意在哪些领域大胆尝试。英国已经将其大量数据数字化，并且拥有gov.uk平台，类似于爱沙尼亚，为许多英国政府服务提供了一个高度数字化的前端。这些都是可以利用人工智能产生影响的领域。
此外，如果你有大量后工业地区的未使用电力资源，可以考虑将其分配用于计算。我认为考虑这种经济性很重要。推理的经济性将变得重要。我们可能需要根据推理发生的位置对其进行不同的税收政策，但这同样可能是一个机遇。
COWEN：新加坡自己开发高质量人工智能系统会划算吗？他们有钱，但规模小，对吧？
CLARK：是的。对于新加坡来说，开发能够使大型人工智能系统在新加坡环境中更好地运行的东西是划算的。我认为他们很难开发出比美国和中国的大公司今天提供的更适合他们需求的基础模型。
COWEN：所以他们会采用开源并使其具有新加坡特色？
CLARK：他们可能也会这样做。
COWEN：或者大公司会以某种方式允许政府定制系统？
CLARK：是的。如今已经有微调服务。你可以想象将人工智能系统微调为一个主权人工智能系统，然后附带某种治理安排，这对新加坡来说并非不可能。
COWEN：最后一个问题。你希望接下来学习什么？
CLARK：我正在花大量时间研究两件事。一是心灵理论。我们如何弄清楚事物是如何思考的，也许还有如何测试心灵理论的方法。我正在阅读大量相关文献。另一件更平凡的事情是，我正在学习杂耍。我散步时会尝试边走边耍，这看起来像完全疯狂的行为，但我觉得这很有帮助。
COWEN：你的杂耍技术怎么样？
CLARK：现在非常糟糕，但这很好。这让我在人工智能驱动的时代有了一种可以从中获得意义的活动。
（文：硅星GenAI）