随着人工智能应用对数据访问速度的需求持续攀升,英伟达今日宣布将其高性能cuFile垂直数据存储栈的应用程序接口(API)开源,实现毫秒级数据访问。
与此同时,英伟达还宣布联合多家科技领域领导企业,共同发起名为"Storage-Next"的大规模行业倡议,致力于通过GPU驱动优化内存与存储能力。该倡议旨在汇聚存储厂商、控制器供应商、热设计、散热及编排服务提供商,协同标准化机构,共同探索以GPU为核心驱动的优质存储解决方案。
英伟达在"内存与存储未来大会"上宣布,cuFile API可实现毫秒级别的安全存储访问。
cuFile于2021年7月随公司的GPU访问工具包CUDA Toolkit 11.4正式发布。在此之前,它一直作为英伟达GPUDirect Storage软件的核心组件运行。cuFile提供本地分布式存储与GPU内存之间的直接高速数据访问通道,允许GPU绕过中央处理器和系统主内存,从而大幅降低内存访问延迟。
借助直接内存访问(DMA)技术,cuFile可将数据从NVMe驱动器等存储设备直接传输至GPU内存。AI推理的主要计算发生在GPU及专用加速卡上,这些硬件主要与GPU内存交互;而内存的刷新通常由另一软件层负责,该层利用GPU进行编排和决策。cuFile省去了这一"中间环节",提供直接访问路径并支持GPU自主编排,使其能够快速拉取更多数据。
这一机制使海量数据集的同步速率能够匹配顶级GPU的处理速度。若数据带宽因瓶颈受阻,将引发"GPU饥饿"循环——分布式GPU阵列中部分GPU因等待数据就绪而处于空闲状态。
更高的速度与毫秒级低延迟,为检索增强生成和智能体AI构建了一条连接深层存储与GPU的低延迟"超级通道",使大规模数据集的运行效率显著提升。
为GPU可访问存储引入开放标准
Storage-Next已汇聚40家领先存储和闪存厂商,包括DataDirect Networks(DDN)、铠侠(Kioxia)和美光科技(Micron Technology)。各参与方将与英伟达共同推动下一代AI存储技术的发展。
英伟达将基于SCADA(可扩展加速数据访问,Scaled Accelerated Data Access)构建其高速数据访问存储方案。该方案为大规模并行GPU以高带宽、极低延迟拉取数据奠定基础。现代AI训练需要同时访问海量数据,而AI推理如今还涉及超大规模混合专家模型,这类模型"思考"极为迅速,能够快速拉取数据并为智能体工作流调用各类工具。
DDN首席技术官斯文·厄默表示:"AI的成功不取决于企业拥有多少基础设施,而取决于如何高效利用这些基础设施。我们与英伟达的合作正在构建GPU与数据之间更直接、更高效的连接,使加速计算资源保持高效运转,缩短洞察获取时间,帮助客户从AI投资中获得更强劲的业务和财务回报。"
英伟达表示,SCADA支持高速存储层在安全环境下运行。然而,此类直接访问存储介质的技术也存在潜在风险——它可能绕过防止数据"覆写冲突"(即两个进程同时向同一数据写入、互相覆盖对方内容)的安全机制,这是一个安全隐患,而非正常功能。
此外,直接访问路径也可能绕过加密和特权访问等安全防护机制,为恶意攻击者留下可利用的漏洞。
SCADA通过分离访问权限来应对上述挑战:将访问任务划分给不同角色——应用程序的用户侧部分享有原始速度,但处于加密、安全可信计算基之外;独立的特权计算组件则遵循Linux协议配置受保护访问,防止数据覆写冲突的发生。
Q&A
Q1:英伟达cuFile API开源后有什么实际意义?
A:cuFile API开源意味着开发者和存储厂商可以直接基于该接口进行优化开发,无需再依赖英伟达的封闭实现。cuFile提供GPU内存与本地分布式存储之间的直接高速通道,绕过CPU和系统主内存,大幅降低延迟。开源后,更多生态参与者可以针对自身硬件和应用场景进行深度定制,加速AI训练和推理中的数据读写效率,缓解GPU饥饿问题。
Q2:Storage-Next倡议是什么?有哪些企业参与?
A:Storage-Next是英伟达发起的大规模行业倡议,目标是通过GPU驱动推动存储与内存技术的优化升级。目前已汇聚40家领先存储和闪存厂商,包括DDN、铠侠和美光科技等。该倡议将存储厂商、控制器供应商、散热及编排服务商与标准化机构整合在一起,共同制定下一代AI存储技术规范,为大规模AI工作负载提供更高带宽和更低延迟的存储解决方案。
Q3:SCADA技术是如何解决直接存储访问带来的安全问题的?
A:SCADA(可扩展加速数据访问)通过拆分访问权限的方式解决安全隐患。直接存储访问可能绕过防止数据覆写冲突的保护机制,也可能绕过加密和特权访问控制。SCADA的解决方案是将访问任务分配给两个独立角色:应用程序的用户侧获得高速原始访问,但被隔离在安全可信计算基之外;独立的特权计算组件则依照Linux协议配置受保护访问,确保数据安全不被破坏。
