AI智能体对计算资源需求的不断增长,或将迫使客户大幅增加CPU部署规模。
CPU在人工智能时代曾被认为已几乎不再重要,但如今得益于智能体AI催生的新需求,CPU正迎来新的发展机遇。
根据半导体研究机构TrendForce的分析,自主AI智能体日益增长的计算需求,或将迫使运营商大幅增加CPU部署,并重新考量服务器基础设施中CPU与GPU之间的配比关系。
TrendForce指出,相较于传统的大语言模型推理任务,AI智能体带来的工作负载对CPU的依赖程度更高。尽管GPU在执行AI模型训练任务方面仍不可或缺,但负责协调AI智能体自主运行所需的复杂动作序列的,是CPU——这正是GPU无法胜任的工作。
这些活动包括任务规划、子任务调度、调用外部工具、管理多个智能体之间的交互以及评估执行结果。TrendForce表示,智能体还依赖传统计算资源来执行Python代码、搜索数据库、爬取网站以及处理信息。
TrendForce认为,正因如此,CPU正迎来新的发展机遇,正在成为AI基础设施中更为重要的组成部分,而不再仅仅是GPU的辅助处理器。
TrendForce指出,传统AI数据中心通常按照每4至8个GPU配置约1个CPU的比例进行部署,这反映出行业长期以来对加速计算密集型AI工作负载的重视。
但智能体AI可能会改变这一切。TrendForce援引Arm的估算数据称,随着智能体AI工作负载的普及,数据中心每千瓦容量所需的CPU核心数量可能从约3000万核增加到1.2亿核。
这意味着CPU核心需求可能出现四倍的增长。TrendForce预计,在智能体AI基础设施中,CPU与GPU的配比将趋向于每1至2个GPU配置1个CPU,相比许多现有AI部署中明显偏低的CPU配置比例有显著提升。
这一转变也可能影响系统性能、能耗以及基础设施成本。TrendForce援引的研究数据显示,在某些智能体工作负载中,基于CPU的工具处理环节所占的总延迟比例可能高达90.6%。在特定运行条件下,CPU的动态能耗也可能占到系统总能耗的相当大一部分。
这些数据凸显出平衡CPU与GPU资源配置的重要性。如果负责协调AI智能体及执行相关任务的处理器成为瓶颈,仅仅增加GPU容量未必能够提升整体性能。
颇为意外的是,这种对CPU需求日益增长的明显信号,正来自英伟达。长期以来,英伟达一直在淡化甚至贬低CPU的作用,将GPU定位为解决一切问题的终极方案。
但几年前随着Grace处理器的推出,英伟达的态度已然发生转变,如今该产品线已发展至Vera一代。Vera专为与英伟达GPU平台紧密协同工作而设计,配备88个CPU核心和176个线程,并搭载高带宽的NVLink-C2C互连技术,用于与英伟达加速器之间的通信和内存共享。
英伟达还在开发专用的Vera CPU机架,使客户能够独立于以GPU为主或纯GPU系统部署CPU系统。由此可见,英伟达也清楚地认识到,CPU在某些方面是GPU无法替代的。
TrendForce的分析揭示出AI计算领域正在发生的一场更为深远的变革:随着系统从生成单一响应逐步转向自主执行多步骤任务,负责协调这些任务的处理器的重要性正在不断提升。
