编者按:本文是"进入全域宇宙"系列的一部分,聚焦开发者、3D从业者和企业如何利用OpenUSD与NVIDIA Omniverse的最新进展变革工作流程。

今年7月,NVIDIA与200余家企业和组织联署了"开放权重与美国AI领导力"公开信。这封公开信指出,AI领导力的衡量标准,不在于某个单一的前沿模型,而在于开放生态系统能否渗透到每一个行业领域。

开放模型允许任何人下载、检查、修改并在自有基础设施上运行,这正是实现这一目标的关键所在。在物理AI领域,这一点尤为重要——因为每一次落地部署,本质上都是一道专业化适配的难题。

物理AI的核心能力:理解物理世界

物理AI不仅仅需要识别外观,更需要理解并预测行为的后果。

为此,世界模型需要学习物理环境的运行规律、预判下一步可能发生的事件,并推断哪些行动是合理的。它们能够生成基于物理规律的世界与动作数据,模拟未来状态,并为面向机器人、自动驾驶汽车或视觉AI系统的专业化应用提供基础支撑。

开放世界模型已被广泛用于生成训练数据、测试策略以及为物理AI系统进行专业化定制。NVIDIA Cosmos 3将上述能力整合于一个开放模型家族之中,在机器人、自动驾驶和视觉AI等多项基准测试中取得领先成绩,并已获得广泛应用。

NVIDIA Omniverse库作为NVIDIA Agent Toolkit的组成部分,提供了开箱即用的能力,帮助物理AI团队构建可用于仿真的世界环境,从而在真实部署前完成系统的训练、测试与验证。

为什么开放世界模型至关重要

物理AI所需的数据采集成本高昂,且难以大规模获取。罕见事件和长尾场景尤其难以安全、反复地复现。

世界模型在以下方面带来显著价值:

通过从大规模多模态场景中学习物理关系,生成更高质量的数据;构建涵盖不同天气、光照、物体和轨迹的多元化环境;为特定机器人、车辆、传感器配置、任务或运行环境的定制化开发提供更坚实的基础。

开放意味着实际可用

通用模型并不了解某个团队特定的机器人硬件、传感器或运行环境。弥合这一差距,需要访问模型权重、获得允许改编的许可协议,以及用于后训练的配套工具。

NVIDIA Cosmos世界基础模型采用Linux基金会OpenMDW 1.1许可证发布,允许团队在自有数据和硬件上对模型进行后训练。在专业化适配这一环节,开放性不是锦上添花,而是切实的技术前提。

专业化定制只是工作流的一部分。团队还需要相应的环境来生成数据、运行仿真和测试行为。

Omniverse库帮助开发者构建适用于仿真的环境,OpenUSD则提供了用于组合、复用和交换复杂3D数据的开放框架,贯穿数字孪生、仿真及合成数据生成的全流程。Omniverse与OpenUSD的结合,有效减少了每次资产、传感器配置或环境条件变更时重复劳动的积累。

Cosmos 3:面向物理AI的全能基础模型

NVIDIA Cosmos 3是一款前沿的开放物理AI基础全域模型,采用混合Transformer架构,将视觉推理、世界生成与动作预测融为一体。开发者可借助这一模型家族完成场景理解、合成数据生成、未来状态模拟,以及专用世界动作模型的构建,无需分别维护多个独立模型。

Cosmos 3系列包含三款产品:面向高保真世界建模的Cosmos 3 Super(640亿参数)、面向高效推理与后训练的Cosmos 3 Nano(160亿参数),以及面向端侧视觉推理和机器人策略部署的Cosmos 3 Edge(40亿参数)。Cosmos 3 Edge足够轻量,可在边缘GPU上运行,支持部署于NVIDIA RTX GPU、NVIDIA DGX系统及NVIDIA Jetson平台(包括Jetson Thor系列)。

在基准测试评估方面,Cosmos 3在Artificial Analysis平台的开放权重文生图和图生视频类别中排名第一,在PAI-Bench世界生成评测和Physics-IQ图生视频类别中同样位居榜首,在RoboLab机器人策略评测中排名第一。Cosmos 3 Super还在VANTAGE-Bench视觉理解评测中荣列开放模型榜首。

除Cosmos之外,NVIDIA物理AI技术栈还包括:面向机器人的Isaac GR00T、面向自动驾驶的Alpamayo,以及面向视觉AI的Metropolis。

行业落地:生态系统正在加速形成

众多行业开发者正在基于NVIDIA Cosmos构建物理AI应用:机器人领域涵盖斗山机器人、LG电子、三星电子和Skild AI;自动驾驶领域包括理想汽车、小米和Afari;视觉AI领域则有Centific、Fogsphere、Linker Vision、Milestone Systems和Yuan,致力于打造驱动工业AI与智慧空间应用的视觉AI智能体。

NVIDIA Cosmos联盟进一步推动了上述工作,汇聚世界模型构建者、AI开发者与物理AI领域的领军力量,共同贡献模型、研究成果与评估方法。NVIDIA近期将联盟扩展至日本,当地机器人与制造业领军企业正积极加入,计划为工厂、物流、农业、建筑、医疗和交通等场景开发开放世界模型。

通过这些实践与协作,开放世界模型正逐步确立其作为机器人、自动驾驶汽车和视觉AI系统等物理AI领域可扩展基础的核心地位。

Q&A

Q1:NVIDIA Cosmos 3有哪些版本,分别适用于什么场景?

A:Cosmos 3系列包含三款产品:Cosmos 3 Super(640亿参数)适用于高保真世界建模;Cosmos 3 Nano(160亿参数)适合高效推理与后训练;Cosmos 3 Edge(40亿参数)则专为端侧视觉推理和机器人策略部署设计,可在NVIDIA RTX GPU、DGX系统和Jetson平台上运行,适合边缘计算场景。

Q2:为什么物理AI领域需要开放的世界模型?

A:物理AI的落地部署本质上是专业化适配问题,通用模型无法直接了解特定机器人的硬件、传感器或运行环境。开放世界模型允许团队访问模型权重并基于自有数据进行后训练,这是完成专业化定制的实际技术前提,而非可选项。此外,物理AI训练数据采集成本高昂,开放世界模型可生成多样化合成数据,有效降低对真实数据采集的依赖。

Q3:NVIDIA Cosmos联盟主要做什么?

A:NVIDIA Cosmos联盟汇聚世界模型构建者、AI开发者与物理AI领域领军企业,共同贡献模型、研究成果与评估方法。目前联盟已扩展至日本,当地机器人与制造业领军企业正加入其中,计划针对工厂、物流、农业、建筑、医疗和交通等场景开发开放世界模型,推动物理AI在更多垂直行业落地应用。

NVIDIA