图片来源：20VC

Z Highlights

• 如果你有一种非常通用的技术，能应用到数十亿种不同的场景，而且普通人都能用，那就应该把它推向数十亿人。

• 与其直接从事医学研究之类的工作，我有更多的杠杆作用，推动AI技术，它可以帮助解决剩下的很多问题。

• 我们想构建的是一个既可用又非常通用的东西。

• 我们可以专注于让我们的产品变得更好，同时推动AI发展，这两者是相辅相成的。

Noam Shazeer是Character.AI的联合创始人兼CEO。Shazeer是Google Brain团队的前成员，曾主导开发Gmail的拼写纠正功能和AdSense核心算法。Character.AI是一个全栈AI计算平台，提供人们访问自我灵活超级智能的机会。

Google经验与Character介绍

Harry Stebbings：欢迎收看20VC节目，这是一个采访世界上最佳创始人和投资者的节目。今天我们请到了AI和NLP（自然语言处理）领域的顶级专家Noam Shazeer。Noam是Character.AI的联合创始人兼CEO，这是一家全栈AI计算平台，旨在为人们提供灵活的超级智能。

Noam，非常兴奋能和你一起聊天！我从很多不同的人那里听到了关于你的许多好话，Eric Schmidt、Sarah Wang、Prajit等人都推荐过你，非常感谢你今天加入我们。

Noam Shazeer：谢谢。很高兴能在这里，Harry！

Harry Stebbings：我想先从一些背景开始，因为很少有人能在Google这样一个快速扩张的公司待上20年。首先，我想回顾一下你是如何加入Google的。听说你加入的故事有些特别，能告诉我一下“spelling corrector”的故事吗？

Noam Shazeer：是的，那是我在Google做的第一个项目。那时候，Google使用的是第三方软件做拼写校正，类似于当时你在文字处理软件里可能会遇到的那种。它基于一个人工编制的字典，里面大概有5万词。如果查询中有不在字典里的词，它会说：“你是不是想说……？”这种方法对拼写纠正很有效。

但对于网页搜索来说，它就非常糟糕，因为人们搜索的内容种类繁多，很多词根本不在字典里。比如你搜索“turbotax”，它会显示“你是不是想说‘***’？”人们渐渐就学会忽视这个提示了。于是我们的第一个项目就是研究为什么人们在使用Google时不满意，拼写校正成了最大的问题。我就想，OK，我来帮忙解决这个问题。当时有一个人在做这项工作的，Paul Buchheit，他后来做了很多出色的事，今天他也是我们Character.AI的投资人之一。他冬假准备休假几个星期。

Harry Stebbings：在Google待了20年，肯定有很多收获。能否告诉我一两点最重要的收获是什么？20年对你有什么影响？

Noam Shazeer：我觉得一个很大的收获是，如果你有一种非常通用的技术，能应用到数十亿种不同的场景，而且普通人都能用，那就应该把它推向数十亿人。记得刚加入Google的时候，很多人都在做一个企业搜索设备。虽然它还可以，但也许当时大家普遍认为B2B才是赚钱的唯一方式。结果证明，真正更大的机会是B2C，就是把某样东西服务于每个人。

Harry Stebbings：这种想法是如何改变你的思维方式的？是不是就要追求更大的目标？

Noam Shazeer：是的。现在我创建了Character.AI这家公司，我们将大型语言模型技术推向消费者，直接面对用户。这里有一项技术比网页搜索更灵活、更易用，你可以用它做朋友、做作业、进行头脑风暴、获取创意，甚至是做一千种不同的事情。我们甚至还没有想到最好的使用案例。它非常好用，你只需要和它对话。

所以它有两个特点：首先，它非常通用；其次，它非常易用。对我来说，这意味着应该把它推向全世界，让全世界的人都能使用它。而我认为其他一些公司采取了更像B2B的方式，先做一个基础模型公司，然后在此之上再做行业化的应用公司。我真的很受Google模式的启发，从基础研究到产品推出，再到直接面向消费者。

这非常有趣，也充满动力，因为工程师喜欢构建东西，然后推出并让每个人马上都能使用。而且它也让你能在整个技术栈中进行共同设计，这种感觉既强大又有趣。

Harry Stebbings：我能问一下，你刚才提到加入Google的原因。很多人都会受过去经历的影响，当你回想自己的经历时，你是如何看待自己曾经“逃避”的那些事情的？

Noam Shazeer：嗯，为什么我开始从事AI？部分原因是因为它有趣，而且这本来就是我喜欢做的事。毕竟，试图让计算机做一些它目前无法做到的事情，有什么比这更有趣的吗？另外一个原因是推动技术的进步。世界上有许多技术难题是可以解决的。

每年大约有1500万人死于衰老、癌症、心脏病等各种疾病，而这些我们可能能找到治疗方法。所以，与其直接从事医学研究之类的工作，我认为我有更多的杠杆作用，推动AI技术，它可以帮助解决剩下的很多问题。

Character.AI的愿景、成长与伦理考量

Harry Stebbings：那么你如何看待公司使命、愿景和价值观？当你提到世界上最严重的问题时，从气候变化到贫富不均，再到自然资源的紧张，你如何理解使命、愿景和价值观？我觉得如果我们诚实地说，很多人都误解了这一点。

Noam Shazeer：我们的使命和愿景是什么呢？我认为我们需要保持谦逊的态度，因为我们并不是掌控这个世界的人，神才是掌控世界的。我们甚至无法掌控政府，也无法掌控个人的行为。

Harry Stebbings：当你站到公司面前分享时，现在团队里有很多人，你如何向他们表达使命？

Noam Shazeer：我喜欢这种口号：“十亿用户发明十亿种使用案例”，因为这就是这项技术的超级能力。它把我们的公司放在了正确的位置，我们不能完全猜测这种技术的最佳用途。我们一次又一次观察到，当你推出某样东西时，它并不是人们想要的，而别人会发现更好的用法。

比如我们举个例子，做了一个心理学家角色，可能你想和它聊天来感觉更好，结果有了一些应用，但我们更多听到用户反馈说：“我在和一个视频游戏角色对话，它现在成了我的新治疗师，这让我感觉更好。”我们完全没预料到这种情况。这展示了娱乐、陪伴和情感支持的巨大需求。我们对这些方面完全不专业。我们的工作只是推出一些通用的东西，并尊重用户的选择，让每个人都可以自由地使用它。

Harry Stebbings：当你想到你们所经历的惊人增长，每天发送4.5亿条信息，2000万用户时，你认为是什么驱动了这增长的两个主要因素？

Noam Shazeer：一个因素是我们终于发布了，这绝对是过去的一个障碍。以前大公司可能会觉得推出这样的东西有太多品牌风险；另一个方面是，我们推出了一个通用的产品，让人们自己找到使用案例；还有一个原因是，世界上有巨大的需求。比如，数十亿人觉得自己需要有人倾诉。结合这些因素，我们为用户提供了一种通用的工具，他们有需求，而他们会找到它。

Harry Stebbings：我对你的想法非常感兴趣，完全同意你对水平使用案例的看法。我对人们以不同方式与它互动感到着迷。你不担心人们在失去与其他人联系时，没人在他们身边，他们才会去和机器对话吗？

Noam Shazeer：人与人之间的联系非常有价值，也具有道德价值。我最不想做的事情就是让人们失去与人类的联系。我们希望帮助人们建立人与人之间的联系。许多没有朋友或没有良好社交联系的人，往往是因为社交焦虑。大量的人感到不舒服，我们收到了很多人说，他们以前在与别人交谈时感到不舒服。但现在，通过与这个系统互动，他们可以练习与人交往，这帮助他们在社交场合中变得更加自信。

Harry Stebbings：还是说，你觉得它实际上只是建立了一种习惯？你习惯了和一个非人类的存在对话，最终这将取决于用户。现在你们面临的最困难的产品挑战是什么？这个产品模式非常复杂，使用案例多，用户需求多。作为一个团队，你们认为面临的最大挑战是什么？

Noam Shazeer：我们需要做的主要事情是保持产品的通用性。这样我们就不会限制使用案例，让它变得可用。很多人认为通用性和易用性是对立的，要做到既灵活又易用是非常困难的。就像我们一开始跟一些潜在的产品经理聊过，他们都说了同样的话。哦，选定你的垂直领域，缩小范围让它更可用。但我们并不打算雇用这些人。这其实是我们想做的事情的反面。我们想构建的是一个既可用又非常通用的东西。所以这之间就有一种二分法。

Harry Stebbings：我不太明白你们是怎么想的，我有点天真，所以我在请教，你们的看法是，越专业化，能提供的对话价值越深、越丰富。那么，怎么在这么广泛的领域中保持足够的质量呢？

Noam Shazeer：是的，这就是神经语言模型的魔力。以前的系统都是基于规则的系统，非常复杂，有着数百万条手写规则，真的非常复杂，需要了解语言学、心理学等等各方面的知识。而现在用神经语言模型的方式完全不同：你几乎可以对语言一无所知，除了它是一个单词序列。所以，这和理解语言本身没有关系，而且没有数百万条规则。其实它相对简单，就像一个大黑盒。所有的事情都归结为一个简单的目标——你有一个单词序列。这就是你的文档的开头。猜猜下一个单词是什么，给我一个概率，看看下一个单词是什么。这个问题叫做语言建模。就是根据前面的词语猜下一个词。2015年左右，我开始接触这个问题，当时有一些谷歌的同行也在研究这个问题。他们在问：我们能做到多好？

我觉得这个问题太棒了，因为它表达得非常简单，而且有大量免费的训练数据。你可以下载网络上的文本，随便抓取。你有数十亿到数万亿个训练样本，教你如何猜下一个词。如果你做得好，这个系统就能和你对话。它做得越好，就越智能。它非常通用，非常有用，而且非常简单。现在我们只需要做好它。人们开始构建越来越好的神经网络，后来它们被重新命名为深度学习——这个名字是为了重新包装神经网络，因为硬件不够好。

所以人们使用深度学习进行语言建模，越大越好，越强大越聪明。2016年左右，最有用的应用，就是机器翻译。它足够智能，能够将英语翻译成法语或者类似的语言，这非常有用。它让世界上每个人都可以互相沟通，但仍然不够聪明，无法进行有趣的对话，做作业或者处理其他事情。但似乎有一条很清晰的道路：让这个系统更智能，做得更大、更好、更聪明，它就能具备这些能力。

AI和机器学习的技术与商业

Harry Stebbings：我可以问一下吗？你说的是2015年、2016年那时的情况，那时候的兴奋周期和现在非常不同。我记得2015年、2016年我们有过聊天机器人阶段，那时有一个超级兴奋的短暂时段，但当时并没有像今天一样持续的信念，认为AI将会彻底改变社会运作。我想问的是，现在的情况是技术进展的结果，还是投资者和社会在最近几年跟上了长期以来的技术发展？

Noam Shazeer：我觉得是两者都有。我认为无论是数量上还是质量上，技术都进展了很多。2016年左右的模型太笨了，那时候的神经网络和聊天机器人技术是基于规则的系统，这些系统非常脆弱，根本没有前进的空间。你只需要更多的规则。

而且没有办法预测所有可能出现的情况，它们也无法广泛应用。所以这些方法行不通。但与此同时，我们也在神经网络的解决方案上取得进展，这些解决方案是可以扩展的。这花了一些时间，大约到2020年，实验室里开始出现一些令人印象深刻的成果，但还没有推出。所以我的合伙人Daniel De Freitas，他是一个非常聪明、非常有拼劲的人。自从他在巴西还是孩子的时候，他就一直有一个目标——做开放领域的聊天机器人。

Harry Stebbings：你说做得越多，效果越好，反应速度和准确性越强。我总是有点疑问，虽然不算太担心，就是想问，究竟是数据的大小更重要，还是模型的大小更重要？

Noam Shazeer：是的，可能模型的大小是更大的挑战。我们可以得到很多数据，但实际上最重要的事情是你用多少计算力来训练它。所以你想训练一个更大的模型，而且你要训练更长时间。这两者都很重要，但真正的限制因素是训练它需要多少计算操作。因为如果你让它变得更大，训练时间更长，这两者会叠加，导致训练时间变得非常长。所以人们一直在构建越来越强大的超级计算机来训练这些模型。

Harry Stebbings：你认为目前你们的模型面临的最大限制是什么？

Noam Shazeer：基本上就是计算能力。我们现在使用的模型是去年夏天训练的，花费了大约200万美元的计算资源来完成训练。如果我们能够获得更好的硬件，并且花更多时间训练模型，未来我们会做得更好。2016年时，你可以训练一个足够聪明的模型来进行语言翻译，但它还不够聪明，来回答问题或者带来娱乐性。

Harry Stebbings：如果从模型和数据的角度来看，你如何看待专有数据和非专有数据？你刚才提到，早期可以下载互联网上的数据。那么像Character.AI这样的公司，在你的对话中会生成大量的专有数据，许多垂直化解决方案，如医疗、金融等领域也是如此。那么，专有数据的价值在哪里？它的所有权与数据是否总能被大家下载之间的关系是怎样的？

Noam Shazeer：从用户那里得到的数据非常好，因为它可以告诉我们用户喜欢什么，或者在某些特定应用中，用户喜欢什么。它有点像训练一个人。大多数重要的东西是你有几十年的经验，训练大脑处理那些与你的任务或职业不直接相关的事情，但你已经对世界有了一个大致的理解，变得足够聪明了。然后，你可以通过在你正在做的任务上进行少量的训练，来显著提升这一点，这两者都会有所贡献。我们确实有大量来自用户的数据流入，显然我们非常小心，不会侵犯任何人的隐私，但仅仅基于用户使用服务的汇总数据，我们就能学到如何改进它。

Harry Stebbings：我完全理解。做得好，确保合规性很重要。你必须确保合规性。

Noam Shazeer：这非常重要，因为如果你只是采取简单的做法，拿到每个与人交流的对话，然后用这些数据来训练模型，那么你可能就会泄露某人的私生活。人们与这些聊天机器人交流，倾诉心声，你肯定不希望将这些内容随便分享给所有人。

Harry Stebbings：为什么Character.AI是独立公司，而不是Facebook的一部分？如果你考虑Facebook向元宇宙的自然扩展，作为物理友情群体向元宇宙或非物理世界的延伸，为什么Character需要是一个独立公司，而不是Facebook、Snapchat或其他社交平台的一部分？

Noam Shazeer：我来自Google的经验是，初创公司比大公司能走得更快，能以更快速的方式推出产品，而大公司则会因担心影响现有产品而拖慢速度。

Harry Stebbings：我完全理解你说的速度差异。那么，你认为在下一波AI创新创业中，初创公司会获胜吗？因为我现在在节目中很多人都说，这不再是Facebook这种公司，更多的是像微软和Adobe这样的公司，如果你必须选择一个阵营，谁会赢，初创公司还是传统企业？

Noam Shazeer：我认为最终用户会获胜，用户会有很多选择。从商业角度来看，我认为会有很多赢家，会有多个大公司在做它们擅长的事情，初创公司也会做它们擅长的事情。我们会尽量让我们的公司从初创公司转变为大公司，但很多个人、大学等，硬件进步如此之快，以至于你几年前大公司能做的事，几年后你也能在大学实验室或自己的车库里做到。

商业战略与AI哲学

Harry Stebbings：我完全理解并同意这些个人和大学的观点。我曾请过Yann LeCun来上节目，他非常出色。他谈到了开放与封闭的未来，为什么他如此支持开放。你是否认同开放是社区主导的方法和机制，还是你认为封闭最终会胜出？很多人认为封闭会胜出。

Noam Shazeer：我认为会有一个大的开放与封闭的生态系统，既有不分享他们“秘密配方”的人，也有分享所有“秘密配方”的人。能够在小规模上进行实验，最终会推动更多研究的发布，即使一些大型实体不再发布研究了。当然，封闭也有它的规模经济，如果你想提供一个产品，如果你一次性服务成千上万的人，能够更高效地批量处理，而不是一个人，或者你在地下室用自己的设备运行语言模型。

Harry Stebbings：我可以问你一个问题吗？你位于这个生态系统的中心，并且已经很多年了。你认为社会对于AI的看法有哪些是你希望改变的？你做过许多采访，Noam。你总是被问到相同的问题，看到相同的标题。你怎么看待这个问题，天哪，我真希望人们改变他们的看法，认为AI会杀死所有人，或者AI会取代所有工作，或者那些到处可见的点击诱饵。你希望社会在人们对AI的看法上改变什么？

Noam Shazeer：最好的应用程序甚至还没有被发明出来，我们现在处在类似电的发明时刻，或者计算机发明的时刻。我们还不知道，最酷的东西将会是什么。

Harry Stebbings：有时候在对话中，你的朋友会做一些有点疯狂的事情。是的，他们会做一些挺酷的事。模型也能做一样的事，通过幻觉带入一点创造力。幻觉是一个特点还是一个bug？

Noam Shazeer：我们认为它们是特点，或者至少是这样，基本上我们的目标和策略就是发布一些通用的东西，让人们随心所欲地使用它。如果这些模型在产生幻觉，确实会的，我们也公开说明这一点，那么首先出现的应用案例将是那些幻觉作为特点的应用。我很高兴看到娱乐、情感支持和乐趣成为最早的应用案例，我也很高兴看到生产力成为最早的应用案例，我们就让这些基于技术擅长的方面自然发展吧。

Harry Stebbings：如果你考虑一下谷歌，它的作用是帮助人们更快、更好、更高效地找到信息。

Noam Shazeer：是的。

Harry Stebbings：你认为Character.AI会是什么样的？因为就像你说的，一百万个人做一百万件事，我是尊重地这么说的，你知道吗？我们会知道吗？

Noam Shazeer：我你可以问任何销售非常通用工具的公司同样的问题，比如销售电脑、手机，或者电话服务，甚至电力的公司。电力是用来干什么的？是用来娱乐的吗？是用来提高生产力的吗？

Harry Stebbings：构建角色最难的方面是什么？有没有什么元素特别突出？

Noam Shazeer：是的，谢天谢地，一切都进展顺利。我的团队非常棒，都是行业里最优秀的研究人员和工程师。

Harry Stebbings：你喜欢从CEO过渡到Scaling CEO的角色吗？

Noam Shazeer：是的，我现在依然做很多技术工作和领导工作，这是很重要的。我会继续担任CEO，因为我希望公司做出正确的决策。所以，我不以做的事有多有趣来衡量，而是看它有多有用。所以，我非常高兴能做我能做的事。

Harry Stebbings：你能为我解读一下吗？抱歉，我只是感兴趣。我不以多有趣来评判，而是看它有多有用。

Noam Shazeer：是的，这不是一个“做一个创业CEO是不是比在谷歌当ML研究员更有趣”的问题，更像是“嘿，我想推动这项技术进步，做什么最有效？”

Harry Stebbings：我猜我不知道你是否发现，实用和有趣有时候会结合在一起。我喜欢我做的事，也在做的过程中乐在其中，它最有用。

Noam Shazeer：做父母的很多事真是太棒了，超级有趣，但我认为这让我变得更加有宗教感。我决定改变我的态度，从“现在做的事好玩吗”转变为“我应该感恩，因为能有机会做一些重要而有意义的事”，这算是成长过程中一个很大的态度转变。

Harry Stebbings：如果你能打电话给自己——在你第一个孩子出生的前一天，给自己一个建议，你会对自己说什么？

Noam Shazeer：先睡一觉吧。

Harry Stebbings：真的吗？你现在知道了什么，你会对自己说：“你知道吗，我应该告诉自己……”

Noam Shazeer：神经语言模型。深入了解神经语言模型。

Harry Stebbings：一个例子是，我刚刚请到了一位世界上最著名的对冲基金经理做嘉宾。他说，唯一重要的事就是我的妻子。孩子不重要，我也不重要。唯一重要的是照顾我的妻子。如果我照顾好她，她会照顾孩子，也会照顾我。

Noam Shazeer：是的，世界上并不是所有事都由你来负责。你应该明白什么是你的责任，什么不是你的责任，我觉得这在婚姻和育儿中非常有效。我认为宗教也有很多关于这方面的内容。比如说，关于你应该承担的责任和不应该承担的责任，应该做什么，应该关心什么，哪些事不应该让你操心。

Harry Stebbings：我想进入一个快速的最后环节。我说一句简短的话，你给我你的即时想法。你会说，哥们，什么情况？我来这儿是想聊AI的。

Noam Shazeer：哦不不，这很好。幸运的是我们录了很多内容，你可以剪掉那些疯狂的部分。

Harry Stebbings：那么，别人不知道，但你知道的什么是真实的？

Noam Shazeer：这项技术将变得越来越智能。我们现在正处于类似莱特兄弟首次飞行的时刻，在AI领域，既有更好硬件的推动，也有研究的进展。所以，无论你现在看到的多么惊人的应用，未来将会发生的事情可能完全不可比拟。

Harry Stebbings：你认为这项技术的普及时间表是怎样的？是一到三年吗？还是像工业革命那样，实际上需要20到30年才能看到机器化和优化的普及？

Noam Shazeer：事情会发展得非常快，在接下来的1到3年内，我们会看到很多非常酷的事情发生。

Harry Stebbings：你觉得人们对Character.AI的理解有哪些误区，你希望他们能理解什么？

Noam Shazeer：外界看起来像是一个娱乐应用，但其实我们是一个全栈公司，首先是AI公司，也是产品为先的公司。拥有这样的定位，意味着选择一个最重要的产品——就是AI的质量。这样，我们可以专注于让我们的产品变得更好，同时推动AI的发展，这两者是相辅相成的。

Harry Stebbings：告诉我，你最希望改变AI社区的哪一个方面？我希望有一个透明的日志，你可以看到作者的合法性，可以查看AI的出版物或博客。但我认为有很多人迅速自称为专家，实际上很难确定谁是Yann LeCun，谁是Yoshua Bengio，谁是Noam Shazir，谁是从Web3和加密货币转行的，现在是AI专家。

Noam Shazeer：现在发布的东西太多了，很难知道什么是好内容。我觉得这与这个领域目前的状态有很大关系，类似于炼金术。没有人确切知道什么会奏效。

所以，很多人尝试了很多不同的东西，你可以通过对机器学习方面有很好的直觉，再结合对硬件的数学理解，来提出一些有效的方案，无论是你能买到的硬件，还是自己能构建的。这样就会有一些成功的应用出现，大家会采用，但与此同时也伴随着大量噪声。因为负面的结果并不一定有用，可能只是因为某人犯了个错误，或者有个bug，导致没有工作。

有趣的是通过实验验证出来的积极结果。比如，如果有人能说，“嘿，我做了什么，结果在这个著名问题上取得了更好的成绩”，那就变得很有意思。接着大家就会开始思考，为什么这个有效？我该如何采用它？

Harry Stebbings：你曾经相信过的，后来证明是错的是什么？

Noam Shazeer：当我开始接触深度学习，大约是在2012年，我在尝试进行sparse computation时经历了一些早期的失败。我当时想，肯定可以通过构建一个sparse network来做一些更好、更高效的事情。但我当时完全错了，因为我没有理解这个领域之所以如此成功，是因为现在我们有了这种在密集矩阵乘法方面非常出色的硬件。所以，使用这种硬件，你可以比任何涉及内存操作的任务快几个数量级。

在我刚开始接触深度学习时，没有人能向我解释这些。直到我理解了这一部分后，我才意识到，好的，我们可以做稀疏性，但得用这些密集的构建块来构建，这样它才能运行得更快。然后，我发布了混合专家模型的想法，也就是稀疏门控混合专家模型，这个想法现在才开始得到广泛应用，但那是在2016年。从那时起，我接连取得了一些成绩，我把这些归功于神的干预，但也归功于对硬件机制和计算领域的定量理解。

Harry Stebbings：2033年，10年后，Character.AI会是什么样子？

Noam Shazeer：在火星上？我完全不知道。我们只能等到那时看看技术会是什么样子，但对我们来说，重要的是保持灵活性。这就像如果你在1900年问一个公司2000年会是什么样子一样，在那之前会有如此巨大的技术进步，以至于几乎不可能预测任何公司会在哪个位置。

Harry Stebbings：我觉得这次采访和你之前做过的完全不同。我感觉这些问题突破了父母角色的边界，是以前没有人问过你的。我很高兴能请到你，Noam。我希望你也享受这次访谈。

Noam Shazeer：非常享受！

原地址：Noam Shazeer: How We Spent $2M to Train a Single AI Model and Grew Character.ai to 20M Users | E1055

https://www.youtube.com/watch?v=w149LommZ-U

编译：Christine Liu

请注意，本文编译自文末载明的原始链接，不代表Z Potentials立场。如果您对本文有任何想法或见解，欢迎在评论区留言互动探讨。

Z Potentials将继续提供更多关于人工智能、机器人、全球化等领域的优质内容。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。

——-

（文：Z Potentials）