编者注：以下英伟达性能数据均来自公司提供的材料，应视为厂商声明，在未经独立验证工作负载、拓扑结构、软件堆栈及竞品基线的情况下，请勿将其视为确定性结论。
AI基础设施已迎来重要的架构里程碑。
在生成式AI的第一阶段，业界的关注点主要集中在训练规模越来越大的模型上。网络至关重要，尤其是随着闪存将I/O瓶颈转移并推向网络层。但彼时，网络的角色仍主要被描述为连接加速器、传输数据。如今，在实时推理与智能体AI兴起的时代，这一定义已经过时。
网络正式成为计算过程的核心参与者。它负责同步分布式处理器、在内存层级之间传递上下文、同步影响运算过程、管理拥塞、隔离故障，并决定固定功耗预算能以多高的效率转化为有效Token。
这正是本次与英伟达网络业务高级副总裁吉拉德·沙纳（Gilad Shainer）进行深度对话的核心主题。沙纳认为，如果网络不是作为计算系统的组成部分进行设计的，那么企业构建的就不是AI工厂，而只是他口中那种"服务器农场"。
我们认为这一区别具有重要的战略意义，但其中存在一定的微妙之处。尽管英伟达在市场上构建了最完整的AI网络架构，在系统层面遥遥领先于竞争对手，但其优势并非来自某一款交换机、智能网卡或协议，而是源于GPU、CPU、数据处理单元（DPU）、NVLink、Spectrum-X、ConnectX、BlueField、存储服务、软件框架、机架设计、散热与编排的深度整合。
然而，这种极致的协同设计在赋予英伟达竞争优势的同时，也引发了客户对厂商依赖的合理担忧。英伟达的回应是：Spectrum-X采用标准以太网协议，支持RoCE，并可运行多种网络操作系统。这一说法有一定依据，但并不能完全消除锁定问题的顾虑。
我们的结论是：英伟达可以在接口层面保持开放，同时在实现层面保持专有。这两种立场并不相互排斥。
以下是我们对几个核心问题的评估：
英伟达在AI网络领域是否具有技术领先优势？我们认为其领先优势显著，在完整系统层面独树一帜。Spectrum-X是否基于开放以太网？在协议和网络操作系统层面，答案是肯定的。英伟达的性能差异化是否具有专有性？是的，交换机与网卡的协调机制、算法及更广泛的系统整合均属英伟达专有技术。深度整合是否必然构成有害锁定？并非如此，整合可以改善经济效益并降低部署风险，但客户必须量化迁移成本和性能可移植性。
网络已成为战略性业务优先项
网络重要性的提升在theCUBE Research的调研数据中清晰可见。
在一项针对330名受访者的调查中，94.6%的受访者表示，与两年前相比，网络对于实现业务目标变得"更加重要"或"重要得多"。其中，约三分之二（65.2%）选择了"重要得多"，29.4%选择了"更加重要"。仅有4.8%的受访者表示没有变化，0.6%认为网络变得不那么重要了。
AI并非一次常规的基础设施升级换代，它代表着企业看待基础设施整体、尤其是网络的根本性转变。网络曾经只是后台工具，如今正逐渐成为应用性能、AI经济效益和业务韧性的决定性因素。
然而调研数据也揭示了市场中的深层矛盾。在一道多选题中，受访者被问及将网络与AI能力相结合面临的最大挑战，结果如下：
传统网络与AI网络之间的整合问题（56.4%）；技能缺口（52.7%）；网络架构复杂性（52.7%）；预算限制（45.8%）；延迟问题（30.6%）；安全与隔离不足（24.5%）；需求限制（23.9%）；工具链欠缺（21.8%）；缺乏可见性（20.6%）；资源开销限制（18.8%）；架构孤岛（16.4%）。
这些数据揭示了市场的核心矛盾：企业渴望专用AI基础设施带来的性能优势，却不愿建立一个难以集成、安全防护、监控运维和人员配置的"孤岛"。
这也正是开放性讨论备受关注的原因，也解释了为何英伟达所谓的"极致协同设计"具有真实的经济价值。我们曾见证了Oracle Exadata深度整合所带来的红利，但英伟达已将这一理念推向了全新高度。高度优化的系统通常能降低部署复杂度、加速价值实现，但也会随着时间推移提高迁移成本。
根据我们的观察，随着时间推移，客户往往会接受锁定风险，以换取更强的功能和更高的业务价值。这一趋势在主权AI时代是否依然成立，目前尚无定论。但可以肯定的是，英伟达几乎必然会处于这一讨论的核心地位，在西方国家市场尤为如此。
为何智能体推理改变了网络的本质
沙纳在对话中提出了一个值得关注的论断：训练固然复杂，但推理更难。
有必要对此加以说明。前沿模型的训练在计算层面依然极为苛刻。但生产级推理——尤其是长上下文和智能体推理——可能更具异构性、更难以预测、也更为复杂。
训练任务通常是批量且同步的：每个加速器完成一个计算块后，参与"全局收集"再"全局归约"的集体运算，步骤线性推进，下一步必须等到所有参与方完成当前步骤后才能开始。
推理则引入了更多元的AI流水线：
提示词处理（预填充阶段）对算力和内存的需求很高；Token解码是顺序的，对延迟高度敏感；混合专家（MoE）模型可能产生大量全对全通信流量；长上下文会扩大键值（KV）缓存，带来效率挑战，而内存成本的上升使这一问题愈加突出；智能体工作流可能跨模型、工具、数据库及其他智能体扩展；CPU可能承担调度、控制面等工作；DPU可能负责隔离、安全、存储等服务；上下文数据可能在GPU内存、主机内存和外部存储之间流动；多用户和多应用需要管理不同的服务等级。
正如沙纳所描述的，AI计算单元已从相对简单的GPU机架集合，演变为包含GPU机架、CPU机架、DPU基础设施、上下文存储、接入网络及AI工厂互联的异构计算系统。英伟达的架构图将纵向扩展（scale-up）、横向扩展（scale-out）、跨域扩展（scale-across）和上下文内存基础设施描述为相互独立但协同设计的组成部分。
以下是各类网络结构的分类解析：
纵向扩展（Scale-up）的主要任务是让多个加速器芯片表现得像一个逻辑加速器，核心技术要求是极高带宽、超低延迟、高消息处理速率和高效集体运算，英伟达的实现方案是NVLink和NVLink Switch，买家的主要顾虑是与英伟达纵向扩展架构的高度耦合。
横向扩展（Scale-out）的主要任务是同步机架和大型加速器域，核心需求是可预测的延迟、低抖动、拥塞控制和快速故障恢复，英伟达的实现方案是Spectrum-X和ConnectX SuperNIC，买家的主要顾虑是峰值性能是否依赖配套的交换机与网卡。
上下文内存与存储的主要任务是放置、共享和检索KV缓存状态，核心需求是低延迟RDMA、可预测带宽、缓存放置和编排，英伟达的实现方案是BlueField、DOCA、Spectrum-X和Dynamo，买家的主要顾虑是API、数据和运营的可移植性。
接入网络（Access）的主要任务是为AI工厂提供安全的多租户接入，核心需求是分段、策略执行、隔离与可观测性，英伟达的实现方案是BlueField DPU及相关服务，买家的主要顾虑是与现有安全和网络运营平台的集成。
跨域扩展（Scale-across）的主要任务是连接多个AI工厂，核心需求是故障域控制、调度、数据移动和广域网效率，英伟达的实现方案是更广泛的系统架构，买家的主要顾虑是标准成熟度和路线图依赖性。
这充分说明，网络的定义已远远超出业界的传统认知。
抖动是同步的代价
带宽指标已不足以全面描述当今AI网络面临的挑战。抖动正成为构建AI工厂的关键变量——这也是AI工厂与单纯由GPU和CPU组成的大型服务器农场之间的核心区别。
对于分布式工作负载，关键问题在于：每个参与方能否在严格的时间窗口内收到所需数据。在同步运算中，决定完成时间的不是速度最快的处理器，而是最慢的那个。
加速器有效利用率可以简化为：有效利用率 = 计算时间 / （计算时间 + 通信时间 + 等待时间）。
由于网络抖动会增加等待时间，随着集群中加速器数量的增长，链路中至少出现一个问题节点的概率会大幅上升。一个微小的延迟，可能使大量昂贵的GPU陷入空转。
这正是尾延迟（而非平均延迟）如此关键的原因。尾延迟是最慢百分比请求的响应时间（例如第99百分位数）。平均延迟会掩盖异常值，而尾延迟则暴露最坏情况。
一旦拥塞造成某条路径变慢，端到端流程就会以最慢路径的速度完成。由于被拖慢的资产是价格高昂的GPU，这种经济代价尤为突出。
沙纳在对话中反复强调这一点：当处理器无法保持同步运行时，AI工厂就开始表现得像一个服务器农场。
这是一个刻意激进的说法，旨在重新定位竞争格局。但它揭示了一个值得运营者高度重视的架构现实：分布式AI基础设施的效能，取决于协调利用率，而不仅仅是GPU的安装数量或GPU与CPU的配比。
Spectrum-X的实际工作原理
英伟达的核心论点是，传统以太网实现是为其他工作负载类型优化的。
企业级以太网优先考虑功能丰富性、策略管理和虚拟化；超大规模网络优先考虑端口密度和大量相对独立的服务器流量，针对多租户和低成本进行优化；服务提供商网络可能采用特殊技术以适应远距离传输。英伟达将这些设计与面向高性能分布式计算的以太网加以区分。
Spectrum-X是英伟达在保持以太网兼容性的同时，重新划分交换机与端点之间工作边界的一次尝试。
沙纳将这一设计分为两部分：交换机基于周边网络状态感知，将流量分发到可用路径；SuperNIC控制流量进入网络的速率，并将数据包还原为GPU内存所需的顺序。
关键在于，交换机和网卡并非彼此独立的组件，而是参与到一个围绕GPU工作负载行为设计的协调控制环路中。
沙纳就此做出了一个有力声明："这就是知识产权，这就是英伟达的实现。"
这句话触及了开放性争议的核心。Spectrum-X使用标准以太网协议，但其算法、端点协调和系统行为等差异化特性，均属英伟达的专有工程资产。
英伟达提供的数据显示，交换机与SuperNIC协同架构可带来以下提升：通过改善负载均衡，有效带宽提升1.6倍；通过降低尾延迟，集体运算带宽提升1.3倍；通过噪声隔离，全归约带宽提升2.2倍；通过围绕失效链路进行流量再平衡，全对全带宽提升1.3倍。
上述数据支持了英伟达的架构论点，但从业者在做出最终比较和内部决策之前，应深入了解基线配置、网络拓扑、工作负载、拥塞模式、软件版本和测试方法等细节。这些数字是英伟达的声明，并非所有客户和工作负载的普遍结果，企业买家应要求在自身的模型和流量模式下进行对等测试。
开放、专有，还是两者兼而有之？
沙纳就Spectrum-X的开放性提出了几点具体论据：采用以太网和标准网络协议；英伟达的网卡可连接其他以太网交换机；英伟达的交换机可连接其他以太网网卡；英伟达参与交换机抽象接口（SAI）的贡献；英伟达参与SONiC的贡献；Spectrum-X硬件支持多种网络操作系统；英伟达与Meta的FBOSS、思科的NX-OS，以及Cumulus和SONiC合作。
这些都是有实质意义的开放性证明。我们认为，将Spectrum-X描述为一个封闭、不可互操作的网络协议，是不准确的。
但若将这一论点延伸至英伟达整个系统，同样是不准确的。
在各架构层面，开放性与专有性并存：线缆协议层面，以太网和基于RoCE的通信是开放的，但实现调优和系统行为属于专有；网络操作系统层面，支持SAI、SONiC等是开放的，但特定硬件加速、验证和支持属于专有；数据面层面，标准转发是开放的，但流量分发、拥塞响应和优化算法属于专有；端点层面，以太网连接是开放的，但SuperNIC注入控制、排序和GPU内存集成属于专有；纵向扩展层面，合作伙伴可通过NVLink Fusion参与，但NVLink架构和生态系统治理属于专有；上下文基础设施层面，以太网和键值抽象是开放的，但BlueField、DOCA、Dynamo编排及全栈集成属于专有；完整AI工厂层面，部分边界处有标准接口，但机架设计、散热、软件、计算、网络和存储的协同设计属于专有。
因此，对Spectrum-X较为公允的描述应当是：协议层面开放、实现层面差异化、系统层面深度整合。
这并非批评，而是我们力图提供一个不简单复述厂商营销话术的平衡视角。真正有意义的技术差异化，发生在专有实现层面，而非标准数据包格式本身。标准至关重要，但增量价值来自企业有权保护并据此收费的深厚工程投入。
由此，锁定问题的根源在于将基本互操作性与性能可移植性混为一谈。
性能可移植性意味着客户可以替换某个符合标准的组件，并保留不仅是连通性，还有可接受的吞吐量、延迟、韧性、可观测性、自动化和技术支持。
第三方交换机可能成功转发以太网帧，但若替换Spectrum-X交换机后集体运算性能大幅下降，或引发支持边界争议，客户实际上仍然依赖于这个整合技术栈。
这种依赖在经济上往往是理性的选择，但这个决定应当是经过明确评估、基于商业案例做出的，而非无意识地形成的。
NVLink不仅仅是更快的网络
纵向扩展网络与横向扩展以太网承担着不同的使命。
沙纳将NVLink描述为GPU的延伸。其目的不仅仅是连接多个加速器，而是使多个GPU表现得像一个更大的逻辑加速器。
这需要远超传统横向扩展网络的带宽、更低的延迟和更高的消息处理速率，还需要网络直接参与计算过程。
在沙纳举的例子中，NVLink交换机无需让每个GPU将部分结果发送给所有其他GPU，而是可以在网络内部合并部分结果，再将归约后的结果返回给GPU。沙纳提到了类似SHARP的网内计算技术来加速这一过程。
这在技术上的重要意义在于数据移动。分布式AI性能的瓶颈，往往不在于纯算力，而在于数据移动、合并和传递到下一阶段的速度。网内归约可减少冗余数据传输、内存流量和同步开销。
英伟达提供的NVLink规格数据包括：NVLink 6的带宽达3.6 TB/s；支持72个GPU的NVL域；聚合全对全带宽260 TB/s；聚合全归约带宽520 TB/s。
这些均为英伟达规格数据，应作为厂商声明看待。但更宏观的架构意义在于：纵向扩展并非简单地以更快的端口实现横向扩展，它是加速器本身构成的一部分。
NVLink Fusion拓宽了参与范围，但改变了锁定向量
沙纳将NVLink Fusion定位为开放性的又一体现。这一概念允许开发定制CPU或XPU的客户或合作伙伴，将其处理器连接到英伟达的纵向扩展网络，并潜在地使用英伟达机架、散热、网络和存储基础设施的其他组成部分。
去年英伟达宣布Fusion时，我们认为这是英伟达对多样化现实的认可——通过开放更多连接能力来扩展整体市场，具有重要的战略意义和前瞻性。它承认了未来将是异构的，并非系统的每个组成部分都将由英伟达提供。
这同时也扩大了英伟达的潜在市场。客户可以引入非英伟达的加速器，同时仍采用英伟达的网络和系统架构。
我们认为Fusion是对生态系统的真实开放，但这并不意味着NVLink已成为厂商中立的技术。它将依赖关系从纯英伟达计算技术栈，转变为以英伟达为中心、允许第三方计算参与的平台。
这或许是一个有吸引力的权衡，但它依然是一种权衡。
上下文内存成为新的基础设施层级
对话中最具深远意义的部分，涉及上下文存储。
在自回归推理过程中，模型会保留代表先前Token的键值对，以避免每次生成新Token时都重新计算完整的注意力历史。随着上下文长度和用户并发量的增加，KV缓存会占用大量内存，过去一年间这一占用量已激增400%。
在规模化场景下，上下文不能再仅仅被视为本地GPU状态，它必须在层级结构中被放置、共享、移动、复用和删除。
英伟达的STX架构图描述了一个由以下组件构成的集成上下文内存系统：作为存储处理器的BlueField；基于DOCA的存储服务；作为存储网络的Spectrum-X；以及作为编排层的Dynamo。
其目标是将以太网连接的闪存转化为计算单元级缓存，提供键值接口，通过低延迟RDMA实现KV缓存共享，并跨存储层级编排推理上下文。
我们认为这是一个重要的架构方向，实际上是在加速器内存与传统存储之间插入了一个新的上下文内存层级。这可能提升GPU利用率并支持上下文复用，但也进一步扩大了平台依赖的范围。
买家应当思考以下问题：KV表示是否可以跨推理服务系统迁移？放置和查找API是否有文档支持第三方实现？引入第三方存储平台后性能会如何变化？哪些第三方存储平台与STX最契合，原因是什么？一致性、驱逐和故障语义是如何处理的？遥测数据能否导出到现有运营平台？上下文能否在不重建或重新计算的情况下迁移？哪些功能需要专用硬件或软件（如BlueField、DOCA等）？
上下文层在战略上的重要性，可能不亚于横向扩展网络本身。
经济性：用每个接受Token的成本衡量，而非交换机价格
沙纳认为，合适的网络能够自我证明其价值，因为它能从固定的算力和功耗中产出更多Token。
我们在概念上认同这一逻辑，但若缺乏对当前利用率假设、工作负载及其他细节的具体说明，以及个别运营商的实际验证，我们不会将其视为普遍成立的结论。
相关经济方程大致为：每接受Token成本 = 基础设施总成本 / 接受Token总量（其中年度基础设施总成本包含基础设施年化资本成本和运营成本）。
此处稍作说明：投机解码是一种显著加速大语言模型文本生成的技术。它通过配对一个小型、快速、低成本的草稿模型进行预测，再由大模型并行验证，从而加速生成过程。"接受Token"是指草稿模型的猜测与大模型一致的部分——这些Token节省了计算时间。这一指标旨在衡量投机解码过程的真实成本效益：接受率越高，计算成本越低，结果返回越快。
分子端的总拥有成本包括：年化计算、网络和存储资本；电力和散热；软件和支持；设施成本；运营人员；停机损失；失败或重试的工作；以及未充分利用的容量。
网络增加了分子端的成本，但理论上，设计良好的网络可以通过提升加速器利用率、减少停滞、加速恢复和整体可用性，来扩大分母端的产出。分母越大，每接受Token的成本越低。
这正是仅凭采购价格选择网络可能是错误算法的原因，也是高端网络必须证明其溢价能带来更大有效产出提升的理由。
正确的评估维度不是每美元能买到多少端口，而应当包含以下生产指标：在目标质量水平下每秒的接受Token数（吞吐量）；首Token时间和Token间延迟（用户体验）；实际并发场景下的GPU持续利用率；每瓦特和每美元的接受Token数（效率）；拥塞场景下的全归约和全对全性能（集体运算）；链路、交换机、网卡和光路故障时的输出降级（韧性）；流量重路由、恢复或重启的时间（恢复能力）；替换符合标准的组件后的性能差值（可移植性）；人员工时、升级时长、遥测质量和故障隔离时间（运营）。
英伟达最大的经济优势，可能在于其同时跨越上述所有维度进行优化的能力。其最大的商业隐患，也许在于价值理解的复杂性——客户可能难以将系统本身的价值与长期依赖英伟达的成本剥离开来。
韧性、多平面网络与共封装光学
随着AI工厂规模扩大，故障发生的概率也在增加。在足够大的规模下，某个组件处于降级、停机或超出理想运行范围的状态几乎是必然的。
沙纳介绍了两项相关创新。
第一是从单一大型多层胖树网络向由并行网络平面组成的多平面架构演进。某个平面内的故障可以被隔离，其余平面继续承载流量。这是一种优雅降级的机制，其目标不是假装故障不会发生，而是缩小故障的影响范围，在修复期间维持Token生成。
第二是共封装光学技术——将光学组件集成在更靠近交换芯片的位置，而非完全依赖传统可插拔模块。
英伟达的Spectrum-X Photonics声称：功耗降低5倍；平均中断间隔时间（MTBI）提升10倍；激光器数量减少至四分之一。
沙纳表示，英伟达内部已有运行中的系统，Spectrum-X Photonics正在进入量产阶段。他将这一技术定位为同时提升功耗效率和韧性的手段。
上述声明具有潜在的重要意义，因为功耗和光路可靠性是运营商规模扩展的主要制约因素。
但需注意的是，共封装光学也会改变服务模式。买家应当评估现场可更换性、故障隔离、光纤连接、维修流程、备件策略、热管理特性，以及将光路故障点移近交换芯片封装所带来的后果。更低的组件故障率固然有价值，但在不更换更大、更昂贵组件的情况下完成修复的能力同样重要。在朝这一方向迈进之前，需要仔细评估全生命周期的权衡取舍。
对英伟达批评者：哪些说法成立，哪些不成立
围绕这一话题的讨论，往往过于简单化。
"Spectrum-X是封闭的以太网"——这一说法具有误导性。它使用标准以太网协议，并支持有意义的软件互操作性。
"英伟达的AI网络技术栈没有专有性"——同样具有误导性。其最高价值的优化和系统整合，显然是专有的。
"开放标准保证组件可互换"——既对也不对。标准提供的是兼容性，不一定等于同等的性能、韧性或支持能力。
"极致协同设计只是以创新为名的锁定"——过于简单化。协同设计解决的是真实的同步、功耗和数据移动问题，为运营商提供了切实的价值。
"集成系统在经济上必然劣于解耦系统"——这是错误的。集成可以缩短部署时间、降低运营风险并降低每Token成本。
"英伟达的开放性声明消除了迁移风险"——这是错误的。客户必须量化性能可移植性和退出成本。
"标准化本身将很快消弭英伟达的领先优势"——尚未得到证明。标准定义的是接口，而不能自动复制实现质量或系统级优化。
在我们看来，英伟达最有力的论点，是系统必须经过协同设计才能应对多样化的工作负载挑战。其最薄弱的论点，是倾向于以"开放"一词描述架构的每一个层级。
最公允的解读是：英伟达在生态系统参与能扩大市场的接口处保持开放，同时保护创造性能差异化的实现细节。这是一种理性策略，但也会加深客户依赖。这两点可以同时成立。
并非所有企业都需要超大规模AI工厂
有一点重要的补充值得特别指出。
英伟达的架构是围绕要求苛刻的分布式工作负载和超大规模AI系统设计的。许多企业AI应用并不需要运行在这样的规模上。
一家运行检索增强生成（RAG）、部门级Copilot或中等并发推理的企业，可能并不需要NVL72域、专用上下文内存层，或跨越数十万加速器的多平面网络。
对于这类企业，传统以太网、云服务或规模较小的集成设备，可能能够带来更好的经济效益和更低的运营风险。
网络已成为战略资产，并不意味着每家企业都应该复制超大规模基础设施。客户应当根据工作负载选择合适的架构规模——过度建设同样是一种锁定，它会将资本和技能绑定在业务可能并不需要的运营模式上。
客户在做出承诺前应测试什么
我们认为，评估英伟达或任何竞争性AI网络架构的买家，应要求获得五类证明：
第一，全栈生产基线测试：运行目标模型、序列长度、并发量和智能体工作流，以获取真实的每美元Token产出、性能/瓦特和机架指标。
第二，组件替换测试：用符合标准的替代品替换交换机、网卡、操作系统或存储层，以了解性能可移植性的实际水平。
第三，拥塞与故障注入测试：引入热点、失效链路、光路故障和降级端点，以评估尾部行为、重路由能力和故障影响范围。
第四，长上下文与KV缓存测试：模拟真实的缓存命中率、复用、溢出和恢复场景，以判断上下文内存架构的价值是否值得投入。
第五，运营与退出测试：评估遥测/数据导出、自动化、升级、支持边界和迁移方案，以了解长期迁移成本和人员配置需求。
其中，混合厂商测试尤为关键，也将真正检验英伟达的说法。我们判断，纯英伟达技术栈的性能表现，虽然对所有客户而言未必实际可行，但将显著优于异构混合技术栈。
这种方式能将关于开放性的抽象争论，转化为可量化的数据，让运营商真正理解其中的权衡：替换某个组件后性能下降2%，说明依赖程度有限；但若有效吞吐量下降30%、延迟恶化或产生无技术支持的配置，则客户已经量化出了解耦的实际代价。
在我们看来，这远比争论"开放"的定义更有价值。
结论
我们认为，英伟达理应获得充分肯定——它比业界大多数公司更早认识到网络将成为AI计算机的组成部分。收购Mellanox将被载入史册，成为科技史上最具远见的并购案之一。
英伟达的领先地位横跨纵向扩展连接、AI优化以太网、端点协调、网内计算、DPU、上下文内存、机架级工程、散热、光学技术和软件编排。竞争对手或许能在单个组件上与之匹敌，但英伟达的优势在于将这些组件整合为一个协同运作的系统。
这正是英伟达处于领先地位的原因，也是我们认为其将在企业AI和物理AI等新兴市场持续保持市场份额的原因。
同样，这也是锁定批评将持续存在并成为英伟达必须持续应对之挑战的原因。
英伟达的开放性答辩，在以太网、协议和网络操作系统层面具有说服力，但若将其延伸至完整AI工厂，则缺乏足够的说服力。系统的最佳性能，源自专有的实现选择和跨英伟达自有技术的紧密协调。
客户不应要求一个没有任何专有知识产权的架构——这样的系统很可能会牺牲掉他们试图获取的大部分创新价值。
客户真正应该要求的，是透明的技术边界、可独立复现的基准测试、基于标准的接口、可导出的遥测数据、数据可移植性，以及可信赖的迁移路径。
更广泛的业界，无法仅靠反复喊出"开放"来取代英伟达，而必须构建一个真正能够像完整系统一样高效运行、快速恢复、弹性扩展的开放架构。
在此之前，我们相信英伟达将继续引领AI网络的发展步伐——同时也承担着证明客户可以从其整合优势中受益、而无需放弃过多自主控制权的责任。
行动建议
我们建议数据中心运营商建立一套AI工厂就绪评估体系，将网络、计算、存储、电力、散热和设施作为一个统一的操作系统来对待，而非相互独立的基础设施领域。沙纳的核心观点不容忽视：当GPU、CPU、DPU和存储保持同步时，AI环境才能实现最大价值；否则，昂贵的加速基础设施可能退化为低效的服务器农场。
目标不应是追求最低成本的网络，也不应该本能地回避集成系统，而是要找出哪种架构能在现有功耗预算内持续产出最高的AI性能，同时保留合理的互操作性和退出选项。运营商应要求厂商使用本机构自己的模型、上下文长度、并发量和故障场景来验证这些指标——而非仅凭厂商自行选定的基准测试数据。
Q&A
Q1：Spectrum-X究竟是开放架构还是专有架构？
A：Spectrum-X在协议层面是开放的，支持标准以太网、RoCE，并兼容SONiC、FBOSS、NX-OS等多种网络操作系统。但其核心性能差异化——包括交换机与SuperNIC之间的协调算法、流量分发机制、拥塞控制逻辑等——均属英伟达专有知识产权。因此，更准确的描述是：协议层面开放、实现层面差异化、系统层面深度整合。这意味着使用标准组件替换可以保证连通性，但未必能保留等效性能。
Q2：什么是KV缓存，为什么它在AI推理中越来越重要？
A：KV缓存（键值缓存）是大语言模型在自回归推理过程中，用于存储先前Token的键值对的内存区域，避免每次生成新Token时重新计算完整注意力历史，从而加速推理。随着模型支持的上下文长度不断增加以及用户并发量上升，KV缓存占用的内存过去一年已激增400%。在大规模部署中，上下文数据必须跨GPU内存、主机内存和外部存储进行管理，上下文内存正在成为AI基础设施中一个独立的关键层级。
Q3：企业在部署AI网络前应该做哪些测试？
A：企业在做出采购决策前，建议进行五类测试：一是全栈生产基线测试，使用真实模型和并发场景获取实际性能数据；二是组件替换测试，用符合标准的第三方组件替换关键部分，量化性能可移植性；三是拥塞与故障注入测试，模拟链路失效、热点等场景评估韧性；四是长上下文与KV缓存测试，验证上下文内存架构在真实场景下的价值；五是运营与退出测试，评估遥测导出能力、升级流程和长期迁移成本。
