AI 工厂需要支持规模日益庞大的模型和愈加复杂的推理工作负载。为满足 AI 工作负载对算力的旺盛需求，超大规模云服务商和 AI 原生企业正在自主研发定制 AI 加速器（XPU）。大规模部署这些加速器，需要高带宽内存（HBM）持续为算力供给数据，需要充足的封装面积和芯片面积承载更多算力，还需要高效的供电方案和稳健的供应链，以及将 XPU 部署至数据中心基础设施的机架级架构。
NVIDIA NVLink Fusion 是一套互联技术与 IP，使超大规模云服务商和 AI 原生企业能够将定制 XPU 和 CPU 接入 NVIDIA AI 基础设施平台。他们可以借助 NVIDIA 的纵向扩展与横向扩展技术栈、生态系统及 MGX 机架级架构，降低开发与部署复杂度，提升性能，加快半定制 AI 工厂的上市速度。
在封装层面，NVHBM 对这一统一架构形成有力补充。NVHBM 是一种定制 HBM 基础芯片技术，由 NVIDIA 与领先存储厂商联合设计验证，可实现更高内存带宽、更优面积利用率和更低功耗。这些改进有助于定制 XPU 支持更大规模的模型、更快读取 KV 缓存数据，并提升训练与大规模推理性能。
训练、推理与智能体 AI 工作负载对模型权重、KV 缓存及激活数据的高吞吐访问需求与日俱增。随着 AI 系统从单个加速器扩展至机架级计算域，加速器封装必须在计算逻辑、供电、散热设计与高带宽内存之间取得平衡。
HBM 将关键内存带宽紧密贴近加速器，但对领先存储技术的认证、封装集成与验证，往往会成为定制加速器项目的瓶颈。通过 NVLink Fusion，客户可获取已与领先存储厂商完成验证的 NVHBM 基础芯片，从而有效缓解集成与认证瓶颈。
AI 加速器性能取决于计算引擎能否持续稳定地获得数据供给。在既定封装预算内，更高的 HBM 速度意味着更大的可用内存带宽，从而提升训练和推理中带宽密集阶段的处理能力。与标准 HBM4e 相比，NVHBM 每个内存堆栈可提供高达 30% 的内存带宽提升。对于内存受限或部分内存受限的 AI 工作负载，这将转化为更高的加速器利用率和更大的吞吐量。在大模型推理场景中，通过加快 HBM 与计算核心之间的数据传输速度，可提升每用户 Token 吞吐量，持续为计算核心供给数据。
NVHBM 提升了每个加速器内部的内存带宽，而 NVLink Fusion 则将加速器跨更大域互联，使工作负载能够更高效地利用分布式算力与内存。
这一纵向扩展域在采用专家并行（EP）或 WideEP 等高级路由技术时尤为关键。在这些场景中，不同专家分布于不同 GPU 上，需要在整个机架范围内实现无缝、高速的同步。NVIDIA NVLink 作为 AI 工厂的纵向扩展网络互联架构，负责在专家之间传输激活值和隐藏状态，并协助跨纵向扩展网络同步分布式缓存。NVHBM 则通过持续为本地计算引擎稳定供给数据，将数据饥饿问题降至最低。
对于定制 AI 芯片而言，每平方毫米都至关重要。加速器设计者必须决定如何在矩阵引擎、向量单元、片上 SRAM、缓存层次、控制逻辑、内存接口、片上网络和纵向扩展互联之间分配面积。定制化的内存实现方案有助于降低访问 HBM 所需的设计与封装开销，从而为面向特定工作负载的功能释放更多面积。
随着 AI 工作负载日趋多样化，这部分额外的芯片面积为超大规模云服务商提供了更大的灵活性，可针对推理服务、推荐系统、多模态流水线或内部训练工作负载对 XPU 进行优化。通过缩减内存接口所需面积，NVHBM 使团队能够将更多芯片面积直接用于提升性能。
面积节省主要得益于重新设计的物理内存接口（PHY）。标准 HBM 依赖更宽的接口连接，导致封装总面积增大。NVHBM 采用针对效率优化的定制基础芯片，通过将内存控制器移入 3D HBM 堆栈并集成定制 PHY，大幅降低了 I/O 面积需求。
与 JEDEC HBM4e 标准相比，该设计将 PHY 及支撑区域缩减高达 67%。更窄的接口还简化了中介层布线，使整体布局中可用硅面积提升高达 80%。
如图 1 所示，缩减内存接口连接面积后，中央 AI 计算芯片得以扩展至新释放的空间。这一空间回收使主芯片可用硅面积提升高达 30%，可用于算力或其他功能。额外的硅面积使 XPU 设计者能够在固定封装尺寸内增加更多功能。
功耗是现代 AI 基础设施中最难突破的约束之一。HBM 功耗影响加速器功耗预算、封装热设计、机架功耗包络以及数据中心散热方案。与标准 HBM4e 相比，NVHBM 可降低 HBM 功耗 15%，为算力创造额外的功耗与热设计余量。
功耗节省在多个层面均具有重要意义。在 XPU 层面，更低的 HBM 功耗可改善每瓦性能，并为更多算力或更高持续利用率创造空间。在机架层面，有助于降低供电和散热系统的压力。在 AI 工厂规模下，即便是内存子系统功耗的小幅降低，在数千个加速器上累积起来也相当可观。以一座使用 2000W XPU 的 1 吉瓦数据中心为例，功耗节省最多可释放出 15000 个 XPU 的算力空间。
这一优势在大模型推理场景中尤为突出。XPU 在以低延迟、高吞吐为用户提供服务的同时，需要反复读取模型权重和 KV 缓存数据。降低数据搬运的能耗，有助于支持在大模型上实现更快的推理速度、更大的批处理规模，以及对已部署功耗的更高效利用。
NVHBM 在芯片层面提升了 XPU 的性能与效率，NVLink Fusion 则使超大规模云服务商和 AI 原生企业能够将其 XPU 接入 NVIDIA AI 平台的其余部分。30% 内存带宽提升、25% 芯片面积增加与 15% HBM 功耗节省的协同叠加，转化为每个 XPU 整体端到端性能提升 30% 的显著成果。
这一互联能力通过 NVLink Fusion 芯粒实现，它在定制 XPU 与 NVLink 网络之间架起桥梁，将机架内所有 XPU 连接为一个统一的纵向扩展域。NVLink 现已迭代至第六代，是唯一经过验证、专为 AI 工厂打造的纵向扩展网络互联架构，提供领先性能与智能弹性。在上行方向，XPU 可通过 NVLink-C2C 与 CPU 互联。
NVLink Fusion 的采用者可将定制 XPU 和 CPU 与 NVIDIA 纵向扩展及横向扩展技术栈和生态系统相结合，降低开发与部署复杂度，提升性能，加快半定制 AI 工厂的上市速度。通过统一到单一架构，NVLink Fusion 简化了数据中心的运维管理，实现数据中心算力的灵活调配，并使定制 AI XPU 能够与 GPU 集成，构建异构计算环境。
NVLink Fusion 为 GPU、定制 XPU 和 CPU、网络及机架级软件提供了统一的纵向扩展基础。NVHBM 则以更强的内存性能、更高的计算密度、更优的 HBM 能效和更强的供应韧性，为下一代加速器夯实这一基础。这两项技术为合作伙伴提供了一条从定制 AI 加速器设计到机架级部署和量产的更直接路径。
Q&A
Q1：NVHBM 是什么？它与标准 HBM4e 相比有哪些优势？
A：NVHBM 是 NVIDIA 与领先存储厂商联合设计验证的定制 HBM 基础芯片技术。与标准 HBM4e 相比，NVHBM 每个内存堆栈可提供高达 30% 的内存带宽提升，将 PHY 及支撑区域缩减高达 67%，同时降低 HBM 功耗 15%。这些改进协同叠加，可使每个 XPU 整体端到端性能提升 30%。
Q2：NVLink Fusion 如何帮助超大规模云服务商部署定制 AI 加速器？
A：NVLink Fusion 是一套互联技术与 IP，使超大规模云服务商和 AI 原生企业能够将定制 XPU 和 CPU 接入 NVIDIA AI 基础设施平台。通过 NVLink Fusion 芯粒，定制 XPU 可连接至 NVLink 网络，将机架内所有 XPU 组成统一的纵向扩展域，并可通过 NVLink-C2C 与 CPU 互联。这有助于降低开发与部署复杂度，加快半定制 AI 工厂的上市速度。
Q3：NVHBM 如何在不增加封装尺寸的情况下为 XPU 释放更多芯片面积？
A：NVHBM 通过重新设计物理内存接口（PHY）实现面积节省——将内存控制器移入 3D HBM 堆栈并集成定制 PHY，使 PHY 及支撑区域缩减高达 67%，整体布局中可用硅面积提升高达 80%。中央 AI 计算芯片因此可扩展至新释放的空间，主芯片可用硅面积提升高达 30%，XPU 设计者可在固定封装尺寸内增加更多算力或功能。
