张量处理单元 关键字列表
谷歌展示其推理规模和技术实力

谷歌展示其推理规模和技术实力

谷歌在AI基础设施峰会上披露了其AI推理的惊人规模增长。从2024年4月的9.7万亿tokens/月激增至2025年8月的约1460万亿tokens/月,增长49.5倍。公司推出全新Ironwood TPU v7p系统,性能比前代提升5倍,内存容量增加6倍,单集群可容纳9216个TPU。谷歌还展示了液冷技术和推理优化工具,可将推理延迟降低96%,吞吐量提升40%,成本降低30%。

OpenAI与谷歌合作测试TPU芯片但暂无大规模部署计划

OpenAI与谷歌合作测试TPU芯片但暂无大规模部署计划

OpenAI澄清虽在测试谷歌TPU芯片,但暂无大规模部署计划。该公司正摆脱对微软基础设施的依赖,寻求包括甲骨文、CoreWeave等多家算力供应商合作。OpenAI一直在硬件栈多元化方面努力,从英伟达DGX系统起步,现已使用微软Maia加速器、AMD Instinct MI300系列等多种硬件。公司还在开发自研AI芯片。分析认为,OpenAI可能因软件栈主要针对GPU优化,适配TPU架构需要额外时间和资源投入。