AI需求持续加速增长。工作负载规模不断扩大，模型日趋复杂，部署AI计算基础设施的压力与日俱增。AI工厂——这种将数据和能源持续转化为智能的数据中心级系统——正被大规模部署以满足这一旺盛需求。
AI工厂模式从根本上改变了系统设计与运营方式。加速器的峰值算力已不再是唯一衡量标准。当今的AI工作负载，包括万亿参数级模型、混合专家（MoE）架构、长上下文推理以及分离式服务，需要多个加速器协同工作，形成统一的计算单元。实现这一目标需要高带宽、低延迟的GPU间通信、用于集合操作的快速网内计算，以及具备软件感知能力的调度机制。
鉴于组件数量庞大，弹性能力必须贯穿整个数据中心的设计。跟上AI发展步伐，需要能够与行业创新同频共振的技术与供应链。
正因如此，纵向扩展网络已成为AI工厂中最重要的架构决策之一。纵向扩展网络决定了加速器能否作为统一计算单元协同运作，决定了Token在专家间的流转效率、集合操作的完成速度，以及工厂最终能够交付的有效吞吐量。它也是运营商在部署新平台时所承担风险的重要影响因素。
NVIDIA NVLink是专为AI工厂打造的纵向扩展网络。它旨在加速AI推理、训练及其他需要大规模、高速GPU间通信的并行计算工作负载。第六代NVLink互联配合NVLink 6交换机，在纵向扩展网络中提供最高的GPU间带宽与最低延迟的全互联拓扑，同时支持SHARP网内计算以卸载集合操作，并具备面向生产环境AI工厂正常运行时间设计的机架级弹性特性。
NVLink通过极致协同设计开发而成——从芯片、系统、网络到软件，整个技术栈统一设计与优化——并纳入NVIDIA年度AI基础设施路线图。这项成熟、经过验证且广泛部署的技术，构成了现代AI基础设施的核心骨干。
纵向扩展与横向扩展：两种不同的问题
横向扩展网络负责连接数据中心内的各台服务器；纵向扩展网络则使同一域内的GPU能够作为单一计算引擎协同运作。两者缺一不可，但解决的是不同层面的问题。
NVIDIA Quantum InfiniBand和NVIDIA Spectrum-X以太网等横向扩展网络，支持跨越数千乃至数十万GPU的大规模集群，对于大规模数据并行AI训练工作负载（以及大规模科学仿真）至关重要。纵向扩展网络则以高带宽、可预期的低延迟和共享高带宽内存（HBM）连接单一域内的加速器。对于现代AI训练和推理而言，纵向扩展域是大多数延迟敏感型通信模式发生的地方。
以MoE模型的推理为例：高效的推理实现采用专家并行机制将专家分布在各GPU上，并使用大批量以最大化工厂吞吐量。这种方式实现了工作负载的并行化，但也在GPU之间产生了密集的全互联通信——Token必须被分发至所选专家、完成处理、汇聚、重排序，再向前传递。
所有GPU间通信必须并行完成。若专家位于低带宽或高延迟的网络之后，专家并行带来的收益将被通信开销所抵消。MoE模型训练过程中同样存在这一现象。
由此可见，全互联带宽与延迟对AI工厂性能至关重要。AI工厂需要与系统其他部分协同设计的专用纵向扩展网络，以在各类工作负载下持续稳定地提供上述能力。纵向扩展网络通过优化每瓦、每美元、每平方英尺机房面积所能交付的Token数量，提升投资回报率，从而缩短训练周期、提高利用率、降低AI工厂的每Token成本。
NVIDIA已在大规模MoE场景中验证了高带宽、低延迟纵向扩展网络的实际效果。针对DeepSeek-R1、Qwen 235B等模型以及模拟的2万亿参数大语言模型，NVLink的解码吞吐量最高可达主流现货以太网方案的2.3倍。
超越规格表：工厂级性能视角
规格表通常以简单的带宽数字进行比较：链路速率、交换机总容量或设备峰值带宽。这些数字有参考价值，但并不充分。
评估当今AI工作负载的纵向扩展能力，需要从工厂整体视角出发。实际交付的全系统性能，决定了单位时间、单位功耗、单位机房面积内能够处理和生成多少Token。它取决于全互联网络带宽、端到端延迟（即从每块GPU的HBM内存，经由网络，到达其他所有GPU的HBM内存的延迟），以及用于归约和其他集合操作的网内计算能力。此外，还需要在各层级完全集成的软件，以优化路由、暴露集合操作接口、均衡链路流量、流水线化数据传输，并全面支持当今AI工作负载所使用的各类库和框架。
实际交付性能的价值，最终取决于工厂的持续运行能力。长时间无故障运行、持续监控系统健康状态、在工厂其余部分正常运转的同时支持组件级维护与服务——这些能力将实际交付性能转化为有效产出（goodput），即工厂在整个生命周期内的持续生产能力。
在复杂技术体系中实现跨多种工作负载的最优实际性能与有效产出，是一项极具挑战性的任务，需要多年在大规模部署纵向扩展基础设施中积累的经验与完善的供应链支撑。采用未经验证的技术栈，或使用并非专为纵向扩展网络设计的解决方案，将面临工厂性能不达预期、破坏性停机事件以及供应不稳定等风险。
上述指标共同驱动唯一真正重要的结果：AI工厂全生命周期内持续、可靠的投资回报。
第六代NVLink：性能、弹性与成熟度
NVLink现已发展至第六代，提供最大化工厂有效产出所需的实际交付性能与弹性能力，并积累了逾十年的纵向扩展技术投入与经过验证的部署经验，服务对象涵盖全球领先的超大规模云服务商、云服务提供商（CSP）及超算中心。
在Vera Rubin NVL72平台上，第六代NVLink每块GPU可提供3.6 TB/s的双向GPU间带宽，在72 GPU域内实现260 TB/s的机架级GPU带宽。GPU间传输的端到端延迟比基于现货以太网的替代方案低3倍，数据包速率高10倍。
NVLink交换机托盘与由5000根线缆构成的NVLink骨干网，共同形成单一全互联拓扑，使任意GPU均可以均匀的延迟和带宽与其他任意GPU通信。每个托盘包含四颗NVLink 6交换芯片，总托盘带宽28.8 TB/s，FP8网内计算能力14.4 TFLOPS。在单个Vera Rubin NVL72机架中，NVLink 6提供260 TB/s的聚合带宽和130 TFLOPS的网内计算能力，用于加速归约及其他集合操作（如全归约、归约、广播等）。
NVLink技术路线图支持纵向扩展域规模扩展至1152块GPU，并支持通过共封装光学器件实现互联。
软件是纵向扩展网络技术栈的关键组成部分，包括NVIDIA Dynamo、NVIDIA TensorRT-LLM、NVIDIA集合通信库（NCCL）等，均构建于全球领先的并行计算平台NVIDIA CUDA之上，该平台距今已发布近20年。
硬件与软件通过极致协同设计共同开发，实现了单独开发无法达到的性能提升。对于当今的AI工作负载，这直接转化为基础设施经济效益的提升。
以从NVIDIA Hopper到NVIDIA Blackwell的迭代为例：NVLink带宽翻倍，NVLink纵向扩展域规模从8块GPU扩展至72块，并引入Dynamo实现分离式推理，NVIDIA在MoE推理性能上实现了每瓦50倍的提升。
NVIDIA Vera Rubin平台在此基础上进一步将NVLink带宽和网内计算能力双双翻倍。
随着模型架构的演进，硬件网络与软件通信栈也在同步演进。这种极致协同的开发方式需要整个技术栈的紧密协作，在超大规模部署压力下难以通过孤立开发方式复制——但这正是单纯堆叠加速器与真正扩展至有效实际性能之间的本质差异。
弹性与可服务性：工厂级运营能力
AI工厂必须持续运行。随着机架密度不断提升、价值日益增加，可服务性与故障管理已成为性能方程的重要组成部分。一个带宽出色但需要中断性维护的网络，会降低有效产能和收益。
NVLink 6引入了专为AI工厂运营设计的管理与智能弹性特性，使机架维护更便捷，提供更好的组件性能与负载均衡洞察，并在单个节点需要维护或更新时保持工厂持续运行。
第六代NVLink交换机支持以下智能弹性特性以最大化正常运行时间和有效产出：控制平面弹性、支持部分填充机架运行、热插拔交换机托盘、带管理控制器回退的软件定义路由、动态流量重路由、在线软件更新，以及用于监控和故障归因的精细链路遥测。
这些能力并非可选项。在生产环境AI工厂中，单条链路、交换机、托盘或管理控制器的故障，不应导致整个机架停止服务。运营商需要与基础设施经济价值相匹配的故障隔离、遥测和服务流程。NVLink 6将纵向扩展网络纳入AI工厂技术栈其他部分所期望的同等运营规范。
平台成熟度：经过验证的技术，持续演进的步伐
最强的技术战略兼具成熟度与演进速度，NVLink两者兼备。
NVLink现已发展至第六代专用纵向扩展网络，在生产环境中大规模部署近十年，数百万颗NVIDIA芯片部署于支持NVLink的系统中，并构建了涵盖服务器、机架、线缆、交换机、软件和运维工具的完整生态系统。
NVIDIA年度平台迭代节奏以AI创新的速度持续交付新硬件能力，使行业能够快速部署新模型和工作流，满足全球AI需求。
除硬件外，NVIDIA与社区还将软件作为纵向扩展网络技术栈的核心组成部分持续发布，包括：
Dynamo：用于在多节点GPU环境中扩展生成式AI和推理模型的开源框架，支持分离式服务、动态GPU分配、KV缓存感知路由以及基于NIXL的数据移动。
TensorRT-LLM：用于在NVIDIA GPU上实现高性能大语言模型推理的开源库，通过优化内核、计算/通信重叠以及NVFP4、FP8等低精度格式提升吞吐量，包括对MoE模型的支持。
NIXL：用于跨GPU内存、CPU内存、NVMe和远程存储实现快速数据传输的开源库，助力在分布式系统中高效移动KV缓存和推理状态。
NCCL：用于高速GPU通信的开源库，拥有逾十年的开源创新积累，包含拓扑感知集合操作、AI框架集成，以及支持网内归约和其他集合操作的SHARP。
网络与内存管理：包含地址空间管理API、可扩展内存语义以及内置内存一致性，用于高效访问HBM。
软件创新在硬件发布后仍持续推进，在产品整个生命周期内实现数倍性能提升。
NVLink-C2C：CPU-GPU高速互联
AI工厂不仅需要GPU间高带宽，还需要高带宽、一致性的CPU-GPU互联，用于编排、数据移动、内存管理、存储服务以及混合计算阶段的智能体工作负载。
NVIDIA NVLink-C2C提供了这条通路。在Vera Rubin NVL72平台中，Vera CPU通过NVLink-C2C在CPU与GPU之间提供1.8 TB/s的一致性带宽，是PCIe Gen6带宽的7倍。这实现了跨CPU和GPU内存的高速数据共享与统一一致性内存架构。对于基础设施团队而言，这意味着控制、内存与计算之间的瓶颈更少；对于软件团队而言，这简化了编程模型，并支持KV缓存卸载、多模型执行、数据处理和智能体编排等工作负载。
Vera本身专为此角色设计，配备88颗NVIDIA定制Olympus核心、高内存带宽，以及面向AI工厂工作负载的高能效运行能力。在NVIDIA平台中，CPU、GPU、NVLink、HBM、系统内存、网络与软件协同设计，共同优化性能。
NVLink Fusion：为定制硅芯片赋能
超大规模云服务商和AI原生企业为特定工作负载构建专用硅芯片，并为客户提供更多选择，但在部署过程中面临诸多挑战：集成最先进的纵向扩展网络、设计和部署完整的机架级架构、在硅芯片供应风险下推进数据中心设计，以及支持异构基础设施，每项都面临独特的困难。
NVIDIA NVLink Fusion提供了解决之道。NVLink Fusion是将定制硅芯片连接至NVIDIA领先AI基础设施平台的高带宽、低延迟互联技术与IP。借助NVLink Fusion，客户可以利用经过验证的NVLink纵向扩展技术栈与生态系统，降低开发和部署复杂度，提升性能，加速半定制AI工厂的上市进程。通过统一单一架构，NVLink Fusion简化了数据中心的运营管理，支持数据中心算力的灵活重新调配，并允许定制AI XPU与GPU无缝集成，实现分离式计算。
这打破了一个根本性约束——无需在定制XPU与世界级AI平台之间二选一。由于NVLink Fusion与NVIDIA技术路线图保持同步，采用者可以跟上公司年度迭代节奏。
结语：AI工厂的制胜关键
下一代AI工厂的竞争，不会由最快的单体加速器决胜，而将由能够以最低每Token成本、最快迭代节奏、最低部署风险持续交付最多智能的基础设施来赢得。
NVLink以3倍更低延迟、10倍更高数据包速率以及130 TFLOPS网内计算能力，提供领先性能，同时具备工厂弹性特性和成熟可靠的平台。AI工厂正成为AI计算时代的核心基础设施，NVLink以其卓越性能、可运营性、成熟度与持续创新为其提供强大支撑。
Q&A
Q1：NVLink与普通以太网相比，在AI推理场景中有哪些具体优势？
A：NVLink第六代相比基于现货以太网的方案，GPU间传输端到端延迟低3倍，数据包速率高10倍。在MoE模型推理场景中，NVLink的解码吞吐量最高可达现货以太网方案的2.3倍。这对于需要密集全互联通信的专家并行推理尤为关键，能有效避免通信开销抵消并行化带来的性能收益。
Q2：NVLink 6有哪些保障AI工厂持续运行的弹性特性？
A：NVLink 6引入了多项智能弹性特性，包括：控制平面弹性、支持部分填充机架运行、热插拔交换机托盘、带管理控制器回退的软件定义路由、动态流量重路由、在线软件更新，以及用于监控和故障归因的精细链路遥测。这些特性确保单条链路或交换机故障不会导致整个机架停止服务，从而保障生产环境AI工厂的持续运行。
Q3：NVLink Fusion是什么？它解决了什么问题？
A：NVLink Fusion是将定制硅芯片（XPU）连接至NVIDIA AI基础设施平台的高带宽、低延迟互联技术。它解决了超大规模云服务商和AI原生企业在部署定制芯片时面临的核心矛盾——无需在定制XPU与成熟AI平台之间二选一。借助NVLink Fusion，定制XPU可与GPU无缝集成，共享经过验证的NVLink技术栈，降低开发复杂度并加速上市进程。
