甲骨文已与谷歌达成合作,将后者的张量处理单元(TPU)引入甲骨文云基础设施(OCI),为企业客户提供除GPU之外的另一种选择,用于训练和推理工作负载,且无需将工作负载运行在谷歌自己的云平台上。
这一交易于周二在拉斯维加斯举行的甲骨文AI World大会上公布,双方在联合声明中表示,这是谷歌TPU首次通过另一家超大规模云服务商对外提供。
根据协议,甲骨文将提供部署TPU所需的数据中心基础设施,包括电力、散热和网络等。
HyperFrame Research AI技术栈业务负责人斯蒂芬妮·沃尔特表示,随着企业在训练大型AI模型和大规模运行推理任务时面临日益上升的成本和基础设施需求,寻求GPU以外的替代方案,加入TPU将拓展甲骨文客户的算力组合。
沃尔特补充说,推理工作负载尤其可能从中受益,因为它在企业中占据了最大份额的算力消耗:"推理是每天都会遇到的挑战。每当员工使用AI助手,或智能体调用模型时,都会消耗算力。"
她进一步指出,这主要是因为像TPU这样的专用加速器,相比设计用于处理更广泛计算任务的GPU,能够根据模型架构、工作负载和软件栈的不同,提供不同的性能和效率优势。
不过,仅仅获得芯片的使用权并不能决定部署的经济性。
"企业可能已经围绕不同的加速器构建了模型、工具和技能体系。在切换之前,它需要了解哪些内容可以在TPU上运行,哪些需要改动,以及维护这些改动需要付出多少努力。如果开发和运营成本超过了节省的费用,那么更低的基础设施价格就算不上真正的优惠,"沃尔特说。
通常情况下,谷歌的TPU面向机器学习工作负载,包括大模型训练、后训练及推理。该芯片还可支持对推理能力要求较高、长上下文的应用场景,包括那些围绕AI智能体构建的应用,这类智能体需要多次调用模型才能完成一项任务。
谷歌在自研AI芯片方面已投入超过十年的研发。其第八代TPU产品组合包括两种架构:面向训练的TPU 8t,以及面向推理的TPU 8i。
据该超大规模云服务商介绍,TPU 8t每个Pod的计算性能可达上一代产品的近三倍,并能将前沿模型的开发周期从数月缩短至数周。另一方面,TPU 8i则专为处理多个专用AI智能体产生的迭代式工作负载而设计。
然而,双方尚未披露定价、具体的OCI配置,或加速器上线时的初始容量。这些细节信息将有助于企业评估这一新增的加速器选项,能否为其工作负载带来实质性的成本或性能提升。
目前唯一可知的信息是,甲骨文计划在2027年内推出这些芯片,并在随后的数年内逐步提升容量。甚至具体的上线日期也尚未公布。
