为满足日益增长的AI推理需求,谷歌云于周一对其张量处理单元(TPU)系列进行了升级,推出两款新芯片:安全性更强的TPU 8t加速器升级版,以及容量更高的TPU 8i推理芯片升级版。
谷歌云AI与计算基础设施副总裁兼总经理马克·洛梅耶表示,这两款新处理器旨在满足企业两项新兴需求:为敏感的AI工作负载提供更强保护,以及为具有大上下文窗口的智能体AI应用提供更佳性能。
此次发布是在今年4月推出的第八代TPU芯片基础上的延续。彼时,谷歌公司发布了用于训练的TPU 8t,据称其训练性能比上一代提升高达2.7倍;同时发布了用于推理的TPU 8i,据称其推理性价比提升了80%。
TPU 8tx强化安全性,TPU 8i Max提升容量
洛梅耶在媒体发布会上表示,新推出的TPU 8tx采用与TPU 8t相同的芯片架构,并增加了硬件级加密功能,用于安全推理和小规模训练。该芯片搭配定制的AMD CPU主机,有助于在推理实际运行期间保护和隔离敏感数据及模型权重。
谷歌云还推出了TPU 8i Max,这是一款针对企业日益增多的、具有大上下文窗口的智能体工作负载而设计的变体芯片。洛梅耶表示,该芯片旨在通过有效地“为高速公路增加更多车道”来解决内存瓶颈问题。
该公司表示,为打造TPU 8i Max,谷歌云将两块TPU 8i芯片合并为单一封装,使计算能力、SRAM及高带宽内存(HBM)带宽相比TPU 8i实现翻倍。洛梅耶表示,TPU 8i Max提供384GB的高带宽内存。
洛梅耶在发布会上表示:“我们正看到TPU平台和系统面临巨大的需求。”他补充说,谷歌云也看到AI应用场景在不断扩展,其中包括对机密计算的需求,以及在保持强劲性能的同时,对具有超大上下文窗口的智能体推理的需求。
定制TPU或将强化谷歌云竞争优势
IDC集团副总裁戴夫·麦卡锡表示,谷歌云向更专业化的定制AI芯片迈进,有助于其与其他云服务竞争对手进一步拉开差距。
麦卡锡说:“谷歌今年早些时候成功推出了8i和8t,而现在又在同一年内推出了这些新产品,这充分展现了其创新速度。他们正在展示对研发的投入,以打造这些产品。如果他们所说的属实——带宽翻倍,还有这么多新功能——这表明他们在新产品发布方面可能已经超越了竞争对手。”
麦卡锡将机密计算描述为AI工作负载的一项新兴需求。他指出,云服务商传统上专注于保护传输中和静态存储的数据,而机密计算旨在保护使用中的数据。
麦卡锡表示:“如果谷歌能够拿出一套强有力的机密计算方案,这将为其带来一定的竞争优势。”他补充说,英伟达在这一领域的战略仍在制定之中。
谷歌云还表示,TPU 8i Max可以在现有机架空间内容纳更多芯片,从而在其数据中心中显著提升每平方英尺和每瓦特的计算能力。
麦卡锡表示,至少在短期内,这有助于谷歌云在不增加机架数量或建设更多数据中心的情况下提升容量,从而可能缓解该行业面临的部分容量压力。
更广泛地看,麦卡锡表示,谷歌云持续升级其芯片,并通过其他服务商提供TPU的战略,可以扩大公司的市场覆盖范围,同时创造额外的收入来源。
甲骨文近期宣布,将向Oracle Cloud Infrastructure的客户提供TPU芯片。在媒体发布会上,洛梅耶还表示,谷歌云将允许部分特定客户在其自有数据中心中部署TPU 8tx。
