专用加速器 关键字列表
谷歌将TPU产品线一分为二,迎接智能体时代

谷歌将TPU产品线一分为二,迎接智能体时代

在Google Cloud Next大会上,谷歌发布了第八代TPU的两款独立芯片:专为训练设计的TPU 8t与专为推理优化的TPU 8i。TPU 8t支持百万级芯片互联训练集群,性价比较上代提升2.7倍;TPU 8i引入全新Boardfly网络拓扑与片上集体加速引擎,将全局同步延迟降低5倍,推理性价比提升80%。谷歌认为,智能体工作负载已使单一加速器难以兼顾两种场景,此次拆分是应对新时代的战略选择。

谷歌推出TPU 8双芯片路线,训练与推理分别优化

谷歌推出TPU 8双芯片路线,训练与推理分别优化

谷歌在年度Cloud Next大会上发布了两款自研AI加速芯片:专为模型训练优化的TPU 8t与专为推理优化的TPU 8i。TPU 8t训练速度较上代提升2.8倍,可通过光路交换机连接多达9600块芯片;TPU 8i则以更大SRAM缓存换取更低推理延迟,并引入集合加速引擎,将集合通信延迟降低五倍。两款芯片均将于今年晚些时候在谷歌云平台正式上线。

AI推理成为下一代芯片竞争新战场

AI推理成为下一代芯片竞争新战场

AI推理已成为行业新的利润中心,主要芯片制造商正竞相优化延迟、功耗和成本,推动从通用GPU向专用硅片的转变。英伟达与Groq的200亿美元授权协议凸显了这一转向。AMD收购了Untether AI的工程团队,英特尔正寻求收购SambaNova。分析师预计,随着企业从试点转向生产,推理需求激增将为专用芯片创造机会,特别是在功耗和成本敏感的环境中。