随着全球AI投资持续攀升——根据IDC数据，2025年已突破3000亿美元——企业IT建设仍主要聚焦于支持训练模型的开发，大规模GPU集群和高密度计算等架构占据着核心位置。
但如今AI推理正成为主导性工作负载，支撑模型在生产环境中大规模服务真实用户与系统的架构，已迅速成为AI发展的未来方向。
AI推理的需求已经存在——德勤数据显示，推理已占据计算总量的约三分之二，而麦肯锡预测到2030年，推理将占数据中心总需求的30%至40%——然而，专门支撑推理的基础设施却尚未到位。
推理不只是训练环境的缩小版
从IT角度来看，训练和推理所需要的几乎是截然相反的两种东西。企业为支持AI训练而建设的数据中心，配备了庞大的集中式GPU集群，以实现极高的功率密度，以及专为单一机房内通信最大化而设计的高速互连技术。
而推理则是由持续不断的信息流和不可预测的用户需求所定义的，而非预先设定好的工作负载。一旦提示词开始涌入，就需要能够响应并随实时需求扩展的地理分布式计算资源。
由于推理是全天候运行，并且需要为终端用户提供毫秒级的响应速度，它依赖的是商用以太网、地理上分散的边缘节点，以及低延迟网络连接，而不是单一数据中心内部的孤立吞吐量。那些让企业数据中心最适合训练的设计选择，恰恰正在对大规模运行推理构成阻碍。
成本结构也完全不同。训练是一次性的资本支出事件——模型一旦构建完成，这笔成本就已经沉没。那些持续针对训练优化支出的组织，如今正面临一个现实：他们搭建的基础根本是错的。
而推理则是一种随着每个用户、每次查询、每次智能体交互等不断累积的持续性运营成本。它更像是一个有生命的、会呼吸的有机体，需要随着那些将决定AI经济未来的工作负载一同成长。
智能体正在给架构带来新的压力
自主AI智能体也在加剧基础设施的缺口。智能体不是生成单一响应后就停止，而是会进行规划、执行多步骤任务、调用外部工具、协调其他智能体，并在系统之间传递输出结果。智能体化工作负载所产生的连锁效应，使流经网络的数据流量成倍增加。随着对智能体解决方案需求的增长，对支撑性基础设施的需求也将随之增长。
这种增长已经产生了实质性影响。Gartner预测，到2026年底，40%的企业应用将与特定任务型智能体集成，而IDC预计到2027年智能体使用量将增长十倍，Token和API调用量将成倍增长数千倍。
推理同时也在以传统广域网和数据中心网络架构无法应对的方式，成为南北向流量的倍增器。麦肯锡发现，目前大多数企业广域网都无法支持AI数据流量模式，而由于AI现已成为第二大基础设施投资重点，这些网络必须加以演进。
突发流量是影响架构压力的另一个问题。智能体化工作负载并非平稳的流量，而是时聚时散的暴雨式流量。单一的编排事件就可能同时触发数十个下游API调用。
这导致那些按平均负载规模设计的网络，在智能体大规模协同工作时会触及容量上限，从而产生与那些导致企业AI试点项目在投入生产前就宕掉相同的延迟和可靠性问题。要在AI时代蓬勃发展，企业必须从零开始构建合适的基础设施。
推理现已成为关键的CPU应用场景
构建面向推理的架构，要从最基础的层面——硬件开始。CPU对于规划、调度、工具调用协调以及定义智能体化工作负载的多步骤推理循环而言至关重要。
然而，整个行业在AI训练热潮中对GPU市场的高度关注，分散了业界对AI推理工作负载中CPU必要性的关注。随着推理工作负载规模的扩大，CPU正从辅助性角色转变为关键角色，成为编排层的主要过滤器。
从纯粹的智能体视角来看，高核心数的服务器CPU处理此类工作负载的方式可能比GPU加速器更具经济性。但重要的是要理解，二者缺一不可。推理仍然需要GPU发挥作用；只是CPU容量才是大多数组织尚未纳入考量的瓶颈所在。
协调计算、网络与存储是关键
现实情况是，在大多数场景中，AI应用案例产生的投资回报率都极其惨淡。Gartner最新一项针对基础设施与运维负责人的调研发现，只有28%的AI应用案例完全成功并达到了预期投资回报率，而20%则彻底失败。失败的首要原因是对那些根本无法支撑相应工作负载的基础设施，期望过高、要求过快。
企业该如何避免陷入这一困境？要在一头扎进构建自身无力支撑的系统之前，先花时间搭建好底层基础设施。真正投入精力构建专用的计算、网络和存储资源，并将其作为可独立管理的资源来运作，才是关键所在。
生产规模下的推理需要这三者协同运作：计算负责模型执行，存储决定上下文、嵌入向量和检索数据的可用速度，而网络则决定计算与存储能否以适当的延迟进行外部通信。
那些能够尽早做出这一区分的组织，将为AI下一阶段的发展做好更充分的准备，花在处理生产环境中基础设施故障上的时间会更少，而将更多精力真正投入到通过AI推理创造价值上。
Q&A
Q1：为什么说企业IT基础设施不适合AI推理？
A：企业IT基础设施主要是为支持AI训练而设计的，依赖集中式GPU集群和高速内部互连。而AI推理需要持续响应不可预测的用户需求，依赖地理分布式计算、商用以太网和低延迟网络，二者在设计逻辑上几乎截然相反。
Q2：AI智能体为什么会给基础设施带来更大压力？
A：AI智能体不是生成单一响应就结束，而是会规划、执行多步骤任务、调用外部工具并协调其他智能体，这会成倍增加网络数据流量，同时产生突发性流量峰值，容易让按平均负载设计的网络触及容量上限。
Q3：企业该如何避免AI项目投资回报率低的问题？
A：企业应在构建AI系统之前，先花时间搭建好计算、网络和存储三位一体的底层基础设施，让三者协同运作，而不是对现有基础设施期望过高、推进过快，这正是大多数AI项目失败的主要原因。
