AI模型的性能、效率和复杂程度日益提升，但这也给支撑它们运行的基础设施带来了巨大压力。
谷歌云正通过在第八代张量处理单元（TPU）产品线中新增两款产品，来应对日益增长的内存、安全性和性能需求。TPU 8tx 专为安全可信推理优化，而 TPU 8i Max 则专为大上下文窗口以及高吞吐量、低延迟推理场景优化。
谷歌云AI与计算基础架构副总裁兼总经理马克·洛迈尔（Mark Lohmeyer）在一次媒体沟通会上表示：“随着AI应用不断演进和变革，支撑它们运行的基础设施也需要随之转变。”
将安全能力融入硬件层
今年早些时候，谷歌云推出了第八代TPU：专为大规模训练优化的TPU 8t，以及专为低延迟、低成本推理优化的TPU 8i。该公司表示，与上一代TPU相比，TPU 8t的训练性能提升高达2.7倍，TPU 8i的推理性价比提升80%。这些TPU系统将芯片与围绕其构建的计算、网络和存储资源整合在一起。
洛迈尔说：“这是我们第一次将产品线一分为二，不再只有单一的系统和单一的芯片，而是真正拥有两种芯片和两套系统。”TPU 8tx和TPU 8ix Max正是在这两款产品基础上的进一步拓展。
TPU 8tx是谷歌云首款具备机密计算能力的TPU，该功能与AMD合作开发。安全防护被直接嵌入硬件层，确保敏感数据和模型权重“即便在实际使用过程中也能得到保护和隔离”，他解释道。许多企业希望将AI用于处理敏感信息，无论是专有的内部业务数据，还是出于监管或运营原因必须加以保护的信息。TPU 8tx的设计理念就是保障整个工作流程的安全，对从主机到TPU之间流动的数据进行加密，并在TPU运行实时推理任务时对其本身加以保护。
洛迈尔表示：“随后，整个系统都会经过验证，以确认其确实如其所声称的那样安全可信。”
同时，谷歌云还将TPU 8i的低延迟网络架构引入了TPU 8tx，他补充道。这有助于降低系统内芯片间的通信延迟，支持更高效的推理。洛迈尔表示，尽管使用的是相同的芯片，但这使得TPU 8tx的延迟比TPU 8t降低了2倍。
他说：“因为我们缩小了网络拓扑的直径，推理速度因此大幅提升，同时还实现了硬件级别的安全可信推理防护。你不应该在安全性和性能之间做取舍。”
为“高速公路”增加更多车道
如今，AI智能体需要具备推理、检索信息并并行响应的能力。但它们同样需要大上下文窗口，以便获取响应时所需考量的全部数据，并且必须具备足够的带宽，以便快速地来回传输这些数据。
洛迈尔指出：“随着智能体在文档、代码库以及众多其他数据和上下文中展开工作，这些上下文窗口正呈指数级增长。而这些并发的工作负载给内存容量和带宽带来了巨大压力。”
TPU 8ix Max正是为解决这一“内存墙”问题而设计，它沿用了与TPU 8i相同的低延迟架构，但本质上“将每个封装中的硅片数量增加了一倍”，洛迈尔说道。该型号配备384GB高带宽内存（比TPU 8i多出33%），使其能够存储更大的上下文窗口和键值（KV）缓存。其内存带宽（达17.2 TB/s）和片上静态随机存取存储器（SRAM，达768MB）均实现翻倍。
他指出：“这就像给高速公路增加更多车道。我们并非让每辆车跑得更快，而是创造出更大的容量，让更多车辆能够同时通过这套系统。”
应对突发负载与闲置状态
然而，智能体工作负载的表现方式与传统推理工作负载并不完全相同。洛迈尔指出：“它具有突发性、长时间运行的特点，但往往处于闲置状态。”即便智能体会生成输出结果并调用工具，它仍然需要等待响应——可能是来自人工的反馈，“这种等待甚至可能持续数天之久”。在此期间，它无需执行任何操作，只需保留上下文即可。但如果资源在整个长达数天的周期内被一直占用，那么“90%以上的时间”这些资源都处于闲置浪费状态，他说道。
谷歌云开源的TPU Sync正是为解决这些问题而设计，它通过软件实现了内存、存储和网络的统一管理。该公司表示，这一面向TPU的模型状态层，将芯片高带宽内存（HBM）、主机动态随机存取存储器（DRAM）、共享存储以及数据中心网络整合为“单一的、协同设计的内存层级体系”。它能够在毫秒级时间内自动将KV缓存分层转移至芯片外，实现跨节点的上下文流式传输，并同步强化学习（RL）权重，从而将传输延迟和首Token生成时间（TTFT）降低超过90%。
洛迈尔解释说，实际上，这项技术的作用是：当智能体暂停运行时，将工作内存转移至芯片外；而当流程恢复时，又能迅速将其恢复。这有助于释放资源供其他活跃工作负载使用，降低Token使用和智能体事务处理的成本，并以“更高的底层硬件有效利用率”提升整体性能。
该软件适用于v7、v6和v5版本的TPU，以及当前的v8版本TPU。
应对AI架构的关键变革
洛迈尔指出，AI的发展正超越单次交互和简单的问答模式；智能体现在能够承担越来越复杂的任务，以实现更广泛的目标。在此过程中，它们会将工作流程拆解为多个步骤：调用模型和工具、检索信息，以及编写、编译和执行代码。
他表示：“幕后正在进行数十甚至数百次操作，这对支撑这一切运行的基础设施产生了相当重大的影响。”
他描述了当前AI架构正在经历的三大根本性转变。第一个转变是从“人类规模”转向“智能体规模”：智能体正在分化出数十甚至数百个并行执行的子智能体，使计算需求增长10倍、100倍甚至更多。第二个转变是从“记录型系统”向“行动型系统”的转变，第三个转变则是智能体工作流程日益复杂化。
洛迈尔说：“将这些因素综合起来看，你会发现基础设施面临的挑战已经截然不同。”他指出，过去业界讨论的焦点通常是可用计算能力，但现在开发者更关心数据传输速度、系统利用内存的效率、如何将延迟降至最低，以及如何在大规模运行众多工作负载时管理成本和安全性。
他指出，尽管芯片仍然重要且处于核心地位，但围绕其周围的内存、网络、存储，以及协调这一切运行的软件，还有承载这些设施的数据中心，同样至关重要。洛迈尔表示：“只要其中任何一个环节出现瓶颈，就可能拖累整个系统的性能表现。”
