智能体工作负载对推理系统提出了更高要求。AI智能体在多轮对话中携带不断增长的历史记录,并生成推理、工具调用和响应的混合内容。推理系统必须在大规模支持用户的同时保持响应能力。

MLPerf Endpoints v1.0通过API端点,使用编码和企业工作流程来评估服务能力与响应速度之间的这种平衡。在性能运行过程中,生成的工具调用和工作流意图会与参考值进行核对。独立的SWE-bench Verified评估则用于衡量端到端任务解决能力。这些检查用于评估更快的服务速度是否会影响模型质量。

在MLPerf Endpoints v1.0测试中,NVIDIA Vera Rubin NVL72的初步结果显示,在每用户每秒50个Token的共同最低端到端交互速度下,其每千瓦供电功率的吞吐量是NVIDIA GB300 NVL72的10倍以上。

本文将介绍该基准测试结果,并概述提交测试所采用的硬件与软件优化方案。

多轮智能体AI的服务需求

MLPerf Endpoints v1.0数据集捕捉到了这些工作负载的特征:编码轨迹会在多轮交互中累积历史记录,而企业工作流程则会复用共享的指令、工具定义和业务规则。图1展示了在扩展智能体会话期间,模型响应中上下文长度的增长情况。

Vera Rubin实现超过10倍的智能体吞吐量功耗比

此次提交的测试涵盖Kimi K3、Qwen3.6-35B-A3B和DeepSeek-V4.1-Flash三款模型。表1比较了Vera Rubin NVL72的初步结果与经过验证的NVIDIA GB300 NVL72结果,涉及在共同最低端到端交互速度阈值下的每千瓦供电功率吞吐量,以及在匹配查询并发量下的端到端交互速度。

图2展示了每千瓦供电功率吞吐量与端到端交互速度之间的权衡关系,每条曲线至少包含七个并发级别的数据点。这些曲线显示了在给定响应速度要求下,每个系统能够提供的吞吐量。阶梯函数图没有在测量点之间进行插值,目的是让比较结果基于实际测得的性能,而非估算数据。

更高的每千瓦吞吐量使企业能够在相同的功耗预算内同时运行更多智能体,同时满足相同的响应速度要求。在低并发情况下,更快的响应速度可以减少延迟敏感型智能体任务的推理等待时间。

面向智能体推理的硬件与软件优化

NVIDIA Rubin GPU结合了HBM4内存、NVIDIA Tensor Core以及第六代NVIDIA NVLink,以支持智能体推理的各种需求。HBM4实现了对模型权重和对话状态的快速访问,Tensor Core加速矩阵运算,NVLink则支持跨GPU通信。基于这些能力,上下文感知服务和模型专属内核得以实现——复用先前的计算成果、独立优化预填充和解码阶段、并加速Token生成,从而将硬件进步转化为更大的推理能力和更快的交互速度。

上下文感知服务与模型专属优化提升推理性能

智能体工作负载会反复复用对话历史,同时不断添加新的指令和工具结果。高效的服务必须保留可复用的状态、在各工作节点间分配请求,并兼顾提示处理与Token生成这两个阶段不同的执行需求。前缀缓存、状态复用以及NVIDIA Dynamo路由有助于减少冗余计算并平衡服务负载,而分离式服务架构则支持对预填充和解码阶段进行独立优化。

图3总结了上下文感知服务与模型专属GPU执行方式如何共同支持智能体推理。

Kimi K3、DeepSeek-V4.1-Flash和Qwen3.6-35B-A3B还拥有各自独特的架构,可以从针对性的GPU执行改进中受益。模型专属内核、算子融合、优化的内存访问以及推测性验证,有效减少了数据移动和执行开销。表2总结了这些服务与执行技术如何在三款模型中协同发挥作用。

为智能体AI打造更具生产力的基础设施

智能体推理性能依赖于硬件、系统架构和服务软件之间的协同设计。MLPerf Endpoints v1.0的初步结果展示了Vera Rubin平台如何将这些能力整合在一起,以满足智能体工作负载的各种需求,并为服务用户和扩展应用创造更大的能力空间。

欲了解更多关于NVIDIA训练与推理性能的信息,请参阅配套博客文章。

致谢

Richard Cai、Viraat Chandra、Xiaoming Chen、Zhenhuan Chen、Alice Cheng、Julien Darve、Ashutosh Dhar、Kefeng Duan、Alec Flowers、Ann Guan、Jie Hao、Rashid Kaleem、Tzu-Ling Kan、Tuhin Khare、Zihao Kong、Jonas Li、Shicheng Li、Yijing Li、Allison Lim、Yanchao Lu、Bofeng Luo、Mingyuan Ma、Matthias Maiterth、Yibai Meng、Stanley Cheong Kwan Phoong、Hanjie Qiu、Zhongdao Ren、Tong Tong、Harshil Vagadia、Lisa Wang、Shang Wang、Xinyu Wang、Fernando Xiong、Yingying Xue、Yuanjing Xue、Lizhi Zhou以及Yaoyang Zhou

NVIDIA