英伟达正致力于通过开源其 cuFile API 及软件栈,加速 AI 存储与内存系统的访问效率。与此同时,该公司还发起了一项汇聚逾 40 家厂商的新联盟,旨在推动 GPU 驱动存储领域的标准化进程。

在本周举办的"存储与内存未来"(FMS)大会上,英伟达宣布将开源其 cuFile API 及其底层垂直存储软件栈。该技术允许 GPU(而非仅 CPU)直接对存储设备进行读写操作。cuFile 是英伟达 GPUDirect Storage(GDS)平台下的一个软件库,相关 API 将在加速 IO 特别兴趣组(xio-sig)框架下持续开发——这是一个专注于为高性能、低延迟 I/O 制定开放标准的行业联盟。

英伟达存储技术副总裁 Jason Hardy 表示,此举旨在推动 AI 存储行业更广泛的技术采用与互操作性,使 cuFile 成为面向 AI 原生存储的开放基础,而非英伟达的专有接口。

随着 GPU 性能的不断提升,存储系统正日益成为整体系统的性能瓶颈,大量 GPU 的数据处理速度已远超许多存储系统的数据供给能力。cuFile 的设计初衷,正是为了提升存储吞吐量、降低延迟、提高 GPU 利用率,并加速 AI 训练与推理工作负载。Hardy 在其博客中写道:"借助数十万个 GPU 线程、高带宽内存及其他技术手段,cuFile 能够在微秒级别内安全地从存储中访问数据。此外,快速、安全的数据与存储访问,也是支撑主动与被动网络安全防御措施的基础要素。将 cuFile 开放共享,有助于以 AI 驱动的防御体系所需的速度访问安全上下文、数据与存储资源,从而支持'开放安全 AI 联盟'等相关倡议。"

xio-sig 平台已成为开放贡献 API 的新家园,谷歌、英特尔、英伟达和 Meta 是首批贡献者。Hardy 指出,该平台上的 API 可针对不同软硬件平台进行优化,为开发者和企业带来更高的创新能力与运营效率。

英伟达还宣布,将主导一项名为"Storage-Next"的存储与内存行业新倡议。该倡议将汇聚逾 40 家存储厂商、控制器供应商、散热设计方、冷却与编排运营商及标准化组织,共同探讨 GPU 驱动存储的行为规范,并将相关技术成果转化为可互操作的开放行业标准。DDN、铠侠(Kioxa)和美光(Micron)均将参与其中,各自为 AI 存储技术作出贡献。

Hardy 表示:"该倡议的核心在于实现对大规模 AI 数据集的加速数据访问。为此,英伟达提出了规模化加速数据访问框架(SCADA)——该框架允许大规模并行 GPU 直接从存储中仅提取应用所需的数据,并加载至其高速内存中。"

以存储厂商 DDN 为例,该公司正将 SCADA 集成至其软件定义 AI 原生数据智能平台 Infinia。DDN 首席技术官 Sven Oehme 表示:"与英伟达的合作正在帮助我们在 GPU 与数据之间建立更直接、高效的连接,从而保持加速计算资源的高效运转,缩短洞察获取时间,并使客户从 AI 投资中获得更强劲的业务与财务回报。"

Hardy 还补充道,Storage-Next 与 SCADA 是英伟达长期深耕 AI 存储基础设施工作的延伸,其中包括英伟达 Vera BlueField-4 STX——这是一款以英伟达 Vera Rubin 平台、Vera BlueField-4 存储处理器及 Spectrum-X 以太网为基础构建的模块化机架级系统。英伟达 STX 将 Vera、Rubin、BlueField-4 及 Spectrum-X 以太网技术整合为一体,为客户升级传统存储系统提供了清晰的技术蓝图,也是英伟达推动存储业务发展的核心驱动力。

Q&A

Q1:英伟达开源 cuFile API 的目的是什么?

A:英伟达开源 cuFile API 及其底层软件栈,主要是为了推动 AI 存储行业更广泛的技术采用与互操作性。cuFile 原本是英伟达 GPUDirect Storage 平台的专有组件,开源后将成为 AI 原生存储的开放基础,允许更多开发者和厂商在不同硬件和软件平台上进行优化和创新,同时也有助于以 AI 所需的速度支撑网络安全防御体系的数据访问需求。

Q2:Storage-Next 倡议具体要做什么?

A:Storage-Next 是由英伟达主导的存储与内存行业新倡议,将汇聚逾 40 家企业和机构,包括存储厂商、控制器供应商、散热设计方、冷却与编排运营商及标准化组织。其核心目标是统一 GPU 驱动存储的行为规范,并将技术成果转化为可互操作的开放行业标准。DDN、铠侠和美光均已加入,共同推进 AI 存储技术的标准化发展。

Q3:SCADA 框架是什么?它如何提升 AI 存储性能?

A:SCADA 即"规模化加速数据访问"框架,是英伟达为支持 Storage-Next 倡议推出的技术方案。它允许大规模并行 GPU 直接从存储中提取应用所需的特定数据,并加载至 GPU 高速内存,从而避免不必要的数据传输,降低延迟,提升 GPU 利用率。DDN 已将 SCADA 集成至其 AI 原生数据平台 Infinia,以实现 GPU 与数据之间更高效的直连。

Networkworld