CoreWeave近日宣布了一系列新动态,首先是Nvidia全新Vera Rubin NVL72机架级AI平台已正式在其云服务中上线。

在旧金山举行的CoreWeave Fully Connected大会上,该公司宣布Devin AI软件工程智能体的开发商Cognition已成为首个使用Vera Rubin集群的客户。Cognition于9月初部署了Vera Rubin集群,并运行了CoreWeave所称的该平台首个由客户执行的推理基准测试。

在公布此次合作时,Cognition表示,与Nvidia GB200 NVL72基准相比,Vera Rubin NVL72在SWE-2推理工作负载上实现了高达4.8倍的Token总吞吐量提升。该公司还报告称,在强化学习工作负载方面,输出Token吞吐量提升了3.8倍。

CoreWeave产品与工程执行副总裁Chen Goldberg表示,公司在工程方面的投入旨在让客户能在数天内将新的机架级系统投入生产,而不必针对每一代GPU重建基础设施流程。

“在处理智能体任务时,长上下文、重复的模型调用以及数千个并发任务会给整个平台带来压力,”Goldberg在声明中说道。“我们的职责是让计算、网络和软件作为一个统一系统协同运作。”

他表示,吞吐量的提升可以转化为每个GPU上更多的Devin并发会话、更快的研发周期,以及在不降低生成速度的前提下更低的单会话成本。

CoreWeave此前已部署了Nvidia GB200和GB300 NVL72系统,其中包括与戴尔科技合作开发的Dell PowerRack配置。该云服务商表示,其现有客户将能够使用与GB200和GB300机群相同的工具和运维方式来操作Vera Rubin算力。

除支持Vera Rubin外,CoreWeave还新增了对Vera CPU的支持,将该处理器定位为应对智能体AI工作负载中日益增长的CPU密集型任务的解决方案。

该公司表示,尽管GPU承担了模型训练和推理的主要计算工作,但CPU负责处理隔离执行环境、强化学习工作负载、工具调用、代码执行以及数据管道等重要任务。Nvidia将Vera描述为首款专为AI智能体及现代AI系统周边工作负载设计的CPU。

CoreWeave最初部署的Vera系统采用机架级配置,每个机架包含128个Vera CPU,相当于11264个CPU核心。该机架还集成了Nvidia BlueField-4 DPU以及Spectrum-X以太网交换设备,以实现Vera节点间的互联。CoreWeave表示,该配置提供的CPU算力足以支持超过11000个并发智能体环境。

在软件方面,CoreWeave推出了名为Forge的全新AI开发平台,旨在将模型训练、推理、评估和智能体开发整合到同一环境中。

该公司表示,Forge旨在解决一个日益突出的问题:开发工作流程往往分散在多个工具和供应商之间,这使得从生产系统中获取的信息难以反馈至训练环节并用于后续模型迭代。

Forge将实验跟踪、评估、智能体可观测性、后训练、推理和模型管理整合在一起。CoreWeave表示,该平台的设计理念是让团队能够使用自己偏好的模型、框架和云环境,而不是被锁定在单一的AI技术栈中。

该公司将Forge描述为一个持续的AI开发闭环,团队可以在其中运行模型和智能体、观察其行为、整理数据、进行改进、评估结果,并不断重复这一过程。

CoreWeave表示,其正在将自身的软件栈定位为一种方式,让客户能够在不改变运维模式的情况下,在不同代际的Nvidia GPU之间进行迁移。该公司的平台包括其Kubernetes服务、SUNK、Mission Control、Sandboxes以及无服务器推理产品。

CoreWeave表示,Forge现已上线,Pro版本提供30天免费试用。

Q&A

Q1:CoreWeave的Vera Rubin集群有什么性能优势?

A:根据首个客户Cognition的实测数据,与Nvidia GB200 NVL72基准相比,Vera Rubin NVL72在SWE-2推理工作负载上实现了高达4.8倍的Token吞吐量提升,强化学习工作负载的输出Token吞吐量则提升了3.8倍。

Q2:Vera CPU主要用来做什么?

A:Vera CPU被Nvidia定位为首款专为AI智能体设计的处理器,主要负责处理隔离执行环境、强化学习工作负载、工具调用、代码执行以及数据管道等CPU密集型任务,弥补GPU在这些环节的不足。

Q3:Forge平台的核心功能是什么?

A:Forge是CoreWeave推出的AI开发平台,整合了实验跟踪、评估、智能体可观测性、后训练、推理和模型管理等功能,帮助团队形成从运行、观察、改进到评估的持续AI开发闭环,且支持多种模型和框架。

Networkworld