AI基础设施工程师、存储开发者和云服务提供商需要快速、安全地访问大容量文件和对象存储,以支撑AI工作负载。
AI工作负载对高速数据访问的需求日益增长,这些需求涵盖训练、微调、推理上下文、工具调用、搜索和数据库查询等场景。这些数据大量存储在本地和云端的文件与对象中。计算加速器——包括GPU、TPU和XPU——需要利用NIC或DPU加速的数据传输(如NVIDIA ConnectX NIC或NVIDIA BlueField DPU)实现远程直接内存访问(RDMA),从而避免数据经过服务器CPU控制的内存进行复制。随着GPU架构速度的提升,对RDMA加速、零拷贝数据传输的需求也在不断增长。
此前,构建文件和对象存储直接访问能力的开发者,必须应对不同存储提供商各异的API和协议。基于RDMA的对象存储也一直缺乏通用的传输协议,导致开发者只能支持特定厂商的集成方案,或依赖传统的访问方式。
xio-sig的扩展与全新的规模化加速数据访问(SCADA)服务器SDK,为构建AI工作负载的互操作存储访问方案提供了两种途径。
xio-sig与SCADA的新进展
NVIDIA正与谷歌云、微软合作,将xio-sig扩展至包含NVIDIA cuObject(此前仅支持cuFile)。同时,NVIDIA宣布cuObject客户端和服务器库正式全面上市。开发者可利用cuObject的API和RDMA传输协议,构建加速的对象存储应用与服务器,而xio-sig则为cuObject客户端与任何遵循该传输协议的服务器端实现之间的互操作提供了路径。
全新的SCADA服务器SDK使存储提供商能够构建SCADA服务器,以响应来自SCADA客户端的GPU发起请求。IBM已通过一个集成SCADA与IBM Storage Scale的原型展示了互操作性。结合xio-sig的扩展,这些举措为AI开发者、存储提供商和云服务商提供了更多途径,通过共享的API和协议构建并使用加速存储。
目前还出现了一类新兴的AI数据访问需求,涉及加速器发起的小粒度I/O请求,这类请求无法适配传统存储介质或协议。通过NVIDIA Storage-Next计划,NVIDIA正带领一个由40多家厂商和客户组成的团队——包括NAND厂商、控制器厂商、存储提供商、超大规模云计算厂商和应用开发者——共同定义GPU驱动存储的工作方式,并将这些进展转化为可互操作的开放行业标准。支撑高吞吐量、细粒度、GPU发起存储访问的软件基础设施正是SCADA。FMS博客文章详细介绍了关于开源cuFile API、Storage-Next和SCADA的背景信息。
xio-sig对cuObject的支持
cuObject库的全面上市,为AI应用开发者、开源框架开发者、存储提供商和存储使用者提供了标准化方法,可同时使用文件和对象协议实现加速AI数据访问(如图1所示)。AI加速器能够通过RDMA访问文件和对象存储,无需经过服务器CPU中转数据,从而在数据写入和读取时实现更高吞吐量、更低延迟和更低的CPU占用率。
谷歌云此前已作为xio-sig中cuFile的维护方参与其中,目前正评估扩大对cuObject的参与力度,这体现出其对高性能云文件和对象存储的重视。微软也期待加入xio-sig董事会,以提升存储I/O的互操作性。
xio-sig进展情况
目前已为cuFile和cuObject分别搭建了存储库结构。待生产就绪的技术栈通过一致性测试后,将公开cuFile和cuObject的头文件、cuObject传输协议,以及libxFile和xFilekernel代码的库实现代码。治理文件目前正由待定董事会成员进行审议。
NVIDIA Storage-Next与SCADA的扩展
在Storage-Next计划框架下,全新的SCADA服务器SDK使存储合作伙伴能够构建服务器,以接收来自基于GPU的SCADA客户端的请求,利用本地或远程存储满足这些请求,并通过RDMA交付结果。该项举措还包括存储借贷服务(Storage Lender Service)以及用于配置和部署SCADA的SCADA命令行工具。这些组件支持存储提供商的服务器与SCADA客户端实现互操作。
IBM Storage已展示了一个原型:SCADA客户端向基于全新SCADA服务器SDK构建的初版Storage Scale SCADA服务器发送请求。这表明存储厂商可与NVIDIA合作,共同构建支持SCADA加速、GPU发起存储访问的生态系统,为支撑语义搜索、推荐系统、欺诈检测等应用访问大规模数据集的软件基础设施铺平道路。
开启cuObject与xio-sig之旅
随着xio-sig扩展至支持NVIDIA cuObject,且cuObject库已全面上市,存储合作伙伴、提供商和使用者现可开始使用cuObject,并着手参与社区在cuFile和cuObject互操作API与协议方面的相关工作。
Q&A
Q1:cuObject和xio-sig是什么关系?
A:xio-sig此前仅支持cuFile,NVIDIA正与谷歌云、微软合作将其扩展至包含cuObject。开发者可利用cuObject的API和RDMA传输协议构建加速对象存储应用,xio-sig则为cuObject客户端与遵循该协议的服务器端实现提供互操作路径。
Q2:SCADA服务器SDK能解决什么问题?
A:SCADA服务器SDK使存储提供商能够构建响应GPU发起请求的服务器,支持高吞吐量、细粒度的GPU存储访问需求。IBM已通过集成SCADA与IBM Storage Scale的原型验证了其互操作性。
Q3:NVIDIA Storage-Next计划涉及哪些合作方?
A:该计划由NVIDIA牵头,联合了超过40家厂商和客户,包括NAND厂商、控制器厂商、存储提供商、超大规模云计算厂商和应用开发者,共同定义GPU驱动存储的标准并推动其开放化。
