NVIDIA今日宣布,NVIDIA智能体工具包(Agent Toolkit)现已纳入NVIDIA Omniverse(TM)库——这是一套软件组件集合,赋予AI智能体工具与技能,帮助在现有应用中添加物理AI能力,并为3D内容的仿真部署做好准备。

机器人、工厂和自主系统在进入现实世界运行之前,需要在仿真环境中完成设计、测试和训练。将3D内容准备为仿真就绪状态,不仅仅需要逼真的视觉效果,资产还需具备正确的结构、材质、比例、标签、传感器属性和物理特性。借助NVIDIA智能体工具包中的Omniverse库,AI智能体获得了构建工作流、检查场景、标记问题和准备资产的工具与技能,帮助开发者更快速地将3D内容转化为仿真就绪的环境。

"物理AI时代将首先在仿真中构建。"NVIDIA创始人兼首席执行官黄仁勋表示,"搭载Omniverse库的NVIDIA智能体工具包,将AI智能体引入开发者日常使用的3D工具中,帮助构建机器人、工厂和自主系统在进入现实世界之前所需的仿真就绪世界。"

包括SideFX和PTC在内的软件厂商正在整合面向智能体的传感器仿真、物理模拟和资产验证Omniverse库,将具备智能体能力的AI引入开发者和技术美术师用于准备3D内容的现有应用和工作流程中。

Omniverse库为NVIDIA智能体工具包带来物理AI技能

NVIDIA智能体工具包帮助软件厂商构建能够连接工具、技能与数据源的AI智能体。Omniverse库通过为现有应用提供传感器仿真、GPU加速物理模拟和仿真就绪资产验证等可调用工具,将智能体的能力延伸至3D与物理AI工作流。

全新Omniverse库——包括ovrtx、ovphysx和CAD转SimReady技能——已在GitHub上开放获取,为AI智能体提供构建工作流的工具,用于检查场景、测试变更并为仿真准备3D资产。面向Blender整合Omniverse库的蓝图也已在GitHub上同步开放。

这些库的核心功能包括:

NVIDIA RTX传感器仿真:ovrtx帮助应用从3D场景生成摄像头、激光雷达、雷达及其他传感器输出,使开发者和AI智能体能够测试物理AI系统在虚拟环境中的感知表现。

物理行为:ovphysx利用GPU加速物理模拟,通过碰撞、质量、摩擦和运动等属性为3D场景赋予真实的行为特性,使团队能够预先在仿真中测试物体和系统的交互方式。

仿真就绪3D对象:CAD转SimReady技能帮助将计算机辅助设计(CAD)数据转换为基于OpenUSD构建的SimReady资产,为3D内容赋予物理AI仿真和虚拟测试所需的属性。

软件厂商基于Omniverse库展开构建

包括SideFX和PTC在内的软件厂商,以及初创公司ForgeCAD、Lightwheel、Moonlake AI和Palatial,是首批采用并基于Omniverse库进行开发的企业。这些库现已成为NVIDIA智能体工具包的组成部分。

SideFX正在使用OpenUSD工作流以及ovrtx和ovphysx库,探索智能体如何协助将Omniverse库集成到其Houdini程序化3D内容创作工作流中,为技术美术师提供一条生成、测试物理特性并为仿真准备内容的路径。

SideFX总裁兼首席执行官Kim Davidson表示:"程序化3D创作是构建仿真、机器人和工业AI所需的复杂可控世界的关键。借助NVIDIA Omniverse库和OpenUSD,SideFX正在探索具备智能体能力的工具如何支持Houdini工作流,帮助技术美术师在保持对创作过程掌控的同时,审查、测试和准备程序化内容以用于仿真。"

PTC的Onshape CAD和产品数据管理(PDM)平台正在使用OpenUSD和ovrtx,将云原生设计工作流与物理仿真相连接,帮助产品设计内容与CAD、PDM、协作和仿真工作流保持关联。

PTC总裁兼首席执行官Neil Barua表示:"工程团队正在寻求更具连通性的方式,在整个开发过程中完成设计、协作和仿真。PTC与NVIDIA的合作支持这一愿景,NVIDIA Omniverse库有助于实现仿真就绪的工作流,将验证和测试环节更紧密地与产品设计工作融合。"

在SIGGRAPH展会上展出的"SimReady"Blender,是一个在Blender中结合NVIDIA Omniverse库和NVIDIA NemoClaw(TM)构建的示例工作流,展示了软件厂商如何将具备智能体能力的仿真功能——包括NVIDIA RTX传感器仿真、物理模拟和验证——集成到现有3D应用中,同时让创作者保持掌控权。这一工作流现已作为Blender整合Omniverse库的蓝图开放获取。

此次演示还预览了这些工作流如何在本地运行:作为NVIDIA智能体工具包组成部分的Omniverse库,可在搭载NVIDIA RTX Spark(TM)的紧凑型RTX系统到搭载NVIDIA GB300的NVIDIA DGX Station(TM)系统上运行。RTX Spark系统将于今秋由华硕、戴尔、惠普、联想、微软Surface和微星推出,宏碁和技嘉的相关产品随后跟进。DGX Station系统现已可通过华硕、戴尔、技嘉、惠普、微星、超微和Exxact下单购买。

包括NVIDIA Inception计划成员在内的初创公司,也在利用Omniverse库和技能添加智能体辅助的资产与场景准备工作流。Palatial正在使用Omniverse CAD转SimReady技能,从CAD输入自动化批量创建和验证SimReady资产。Lightwheel则在其SimReadyGen技术中使用基于OpenUSD的Omniverse内容智能体,从文本提示生成物理精确的SimReady资产。

ForgeCAD和Moonlake AI正在探索以智能体驱动的3D内容工作流,利用Omniverse能力帮助生成、扩充和准备物理AI仿真所需的资产。

Q&A

Q1:NVIDIA智能体工具包新增的Omniverse库有哪些具体功能?

A:NVIDIA智能体工具包新增的Omniverse库主要包含三项核心功能:一是ovrtx,用于RTX传感器仿真,可从3D场景生成摄像头、激光雷达、雷达等传感器输出;二是ovphysx,利用GPU加速物理模拟,为3D场景赋予碰撞、质量、摩擦等真实物理属性;三是CAD转SimReady技能,将CAD数据转换为基于OpenUSD的SimReady资产,为3D内容赋予物理AI仿真所需的属性。上述库均已在GitHub上开放获取。

Q2:SideFX和PTC是如何使用NVIDIA Omniverse库的?

A:SideFX正在将ovrtx和ovphysx库整合进其Houdini程序化3D内容创作工作流,探索AI智能体如何帮助技术美术师在仿真前生成、测试和准备内容。PTC则在其Onshape CAD和产品数据管理平台中使用OpenUSD和ovrtx,将云原生设计工作流与物理仿真相连接,使产品设计内容能够与CAD、协作和仿真工作流保持持续关联。

Q3:Omniverse库支持在哪些硬件平台上运行?

A:Omniverse库支持在多种本地硬件上运行,从搭载NVIDIA RTX Spark的紧凑型RTX系统,到搭载NVIDIA GB300处理器的DGX Station系统均可支持。RTX Spark系统将于今秋由华硕、戴尔、惠普、联想、微软Surface和微星推出;DGX Station系统现已可通过华硕、戴尔、技嘉、惠普、微星、超微和Exxact下单购买。

Edge AI and Vision Alliance - Latest News