谷歌发布第七代TPU:性能大涨,专为大模型设计

谷歌发布了其第七代张量处理单元(TPU——Ironwood,这也是首个专为大模型设计的AI芯片,适用于Gemini 2.5Claude 3.7Claude 3.5等先进模型。

与前代Trillium相比,Ironwood的能效提升了两倍;每块芯片配备192GB高带宽内存(HBM)和4.6PFLOPS的计算能力。相较于2018年发布的首代Cloud TPUIronwood在能效方面提高了近30倍,有效应对了企业界对先进模型不断增长的电力需求这一挑战。

每块Ironwood芯片的内存容量大幅增加至192GB HBM,是Trillium的六倍,带宽达到了每秒7.27.4太字节,极大地支持了大型模型的处理而无需频繁的数据传输。

此外,谷歌增强了芯片间的互连至每秒1.2太比特的双向带宽,促进了大规模分布式处理之间更快速的信息交流。

这款芯片不仅集成了改进版SparseCore以加速排名和推荐系统中的超大嵌入处理,而且紧密整合到了谷歌的AI超级计算机架构中,这是一种采用模块化集群设计,结合定制芯片、分布式系统软件及网络硬件的技术体系。

目前,Ironwood不会对外销售,只会在谷歌云上提供两种服务配置:一种是满足标准推理需求的256芯片版本,另一种则是拥有9,216芯片、可提供42.5exaFLOPS计算能力的大规模配置。

每颗芯片的峰值计算能力可达4,614TFLOPS,使其性能与NVIDIABlackwell B200芯片处于同一层级。

(文:AIGC开放社区)

发表评论