为了构建和部署能够在动态环境中感知、推理和行动的复杂机器人应用,开发者需要新的物理AI模型和工具。
ROS是开放机器人组织(Open Robotics)推出的一个开放框架项目,旨在帮助人类构建机器人。今天在加拿大多伦多举行的ROSCon大会上发布的英伟达Isaac ROS 5.0,是一套基于ROS构建的GPU加速软件包集合,可以帮助人类和AI智能体共同构建机器人。
该版本引入了新的智能体化工作流程和平台支持,帮助开发者更快地构建、定制和部署机器人应用。
ROS为现代机器人开发提供了开源基础,为开发者提供了构建和连接机器人应用的通用工具、库和标准。
英伟达Isaac ROS将英伟达加速计算、物理AI模型和生产就绪库带给近130万ROS用户,帮助开发者使用免费、熟悉的开源工具构建高性能机器人应用。
将AI智能体引入机器人开发
智能体正在改变软件构建方式,帮助开发者自动化重复性任务、导航复杂代码库,并更快地将想法转化为可用应用程序。Isaac ROS 5.0将这些能力带入机器人开发领域。
Isaac ROS 5.0引入了对ROS Lyrical和Ubuntu 24.04的支持,为开发者提供了采用最新ROS平台的路径,同时继续利用英伟达加速计算处理高要求的机器人工作负载。英伟达与开源机器人联盟合作,为ROS Lyrical贡献了一个标准数据处理接口,帮助机器人软件在包括GPU的不同计算硬件上高效运行。
该接口面向整个ROS社区开放,为开发者提供了加速高要求机器人应用的一致方式,其中CUDA提供了GPU加速的工作示例。
用于设置和操作的全新英伟达Isaac技能提供了可复用的工作流程,开发者和AI智能体可以使用这些流程完成机器人开发任务。智能体就绪文档也让AI智能体更容易理解Isaac ROS工具和工作流程,从而更快地将开发者意图转化为可用应用。
一些技能超越了辅助单个编码任务的范畴。全新的FoundationStereo微调技能使AI智能体能够帮助将立体感知模型适配到开发者的摄像头、环境和机器人应用中,从而使开发者能够针对特定传感器配置轻松实现更精确的感知。
FoundationPose是一个用于物体姿态估计和跟踪的基础模型,现在提供了一个智能体就绪的推理库,使机器人感知和跟踪物体位置与方向的速度提升最高达5.5倍。
此外,连接检测、深度估计和姿态输出的常见工作流程——拾取和放置——现已作为独立的智能体就绪技能提供,为机器人开发者提供了超越Isaac ROS的更多灵活性。
加速开源机器人生态系统
机器人生态系统已经将这种智能体化方法扩展到开发工作流程中。
由3D感知技术公司RealSense发起的开源项目AgenticROS,将Isaac ROS与英伟达Nemotron开放模型和英伟达NemoClaw蓝图连接起来,使AI智能体能够与基于ROS的机器人进行交互。RealSense还在优化其最新的AI原生3D立体深度摄像头,包括RealSense D585 Pro,以及一款面向Isaac ROS和英伟达Jetson Thor边缘AI平台的开源软件开发套件,帮助开发者构建感知、导航和操作应用。
Intrinsic的开放式机床上下料解决方案是一款用于数控机床上下料的参考应用,属于新发布的Intrinsic Core的一部分——这是一套旨在加速工业机器人应用的开源预配置运行时服务与能力套件。该方案内置了对英伟达FoundationPose的兼容支持,可实现开箱即用的物体注册、跟踪和姿态估计。借助FoundationPose感知流水线,该解决方案使机器人能够动态检测和处理零件,同时减少对刚性、昂贵的物理夹具和专用系统集成的依赖。
Seeed Studio正在将英伟达Isaac ROS与reBot Arm配合使用,在英伟达Jetson Thor上整合加速感知、空间理解和运动规划能力。这种集成为开发者提供了一个实用平台,用于构建可适应的物理AI应用,从物体定位到避障操作和自主拾取放置。
麦格纳正在使用英伟达Isaac ROS作为机器人感知、同步数据采集和英伟达Isaac GR00T模型部署的模块化GPU加速基础,并将其与Isaac Sim硬件在环测试相结合,从而更快、更低风险地将智能自动化从研究阶段推进到实际制造和出行应用中。
Prefix.dev的Pixi包管理工具让创建可复现的机器人开发环境变得更加容易,将ROS与英伟达CUDA平台结合起来,帮助开发者更轻松地设置和共享加速机器人工作流程。
作为Isaac ROS合作伙伴,Foxglove通过其网页和桌面工具帮助开发者可视化和调试实时ROS应用,这些工具已集成到Isaac ROS教程中,支持3D主题、nvblox网格和rosbag等数据类型。
Flexiv正在将Isaac ROS与其Rizon 4自适应机器人集成,为开发者提供英伟达加速的机器人能力,以及从在英伟达Isaac Sim中测试应用到部署到实体机器人的简化路径。
Grid Dynamics旗下公司Ekumen正在现有ROS和Nav2堆栈中使用GPU加速的Isaac ROS软件包,以改善精确对接、3D障碍物检测、视觉定位和实时运动规划,并在Isaac Sim中验证每个应用。
Ekumen在GPU上使用isaac_ros_cumotion,能够在约2到5毫秒内为仓库机械臂规划出无碰撞路径。
Ouster将其Stereolabs ZED立体摄像头与英伟达Isaac ROS集成,为机器人应用提供GPU加速感知。这种集成简化了实时物体检测、地图构建和导航的开发,同时保持与更广泛ROS生态系统的互操作性。
将完整的物理AI技术栈带到机器人本体
开发者和智能体所构建的应用,最终都需要在机器人上运行。
英伟达Jetson是一个可扩展的计算平台,用于在边缘以实时性能运行物理AI技术栈,将ROS、加速感知与导航、AI模型以及应用逻辑整合到机器人本体上。
Isaac ROS 5.0支持从入门级英伟达Jetson Orin Nano到高性能Jetson Thor设备的可扩展计算,为开发者提供了一条从开发到部署的路径,以应对日益复杂的机器人工作负载。
机器人公司已经在利用这种组合,将更多AI处理能力直接带入其机器上。
Mentee Robotics将英伟达Isaac ROS用作其MenteeBot人形机器人的感知和AI骨干,使机器人能够实时解读视觉信息并执行学习到的行为。跨英伟达Jetson Orin和Jetson Thor平台的共享软件基础,帮助Mentee将其创新成果从现有机器人扩展到下一代系统。
优傲机器人已将英伟达Isaac ROS集成到其AI Accelerator软件开发套件中,帮助系统集成商更快部署先进的感知和运动能力,而无需从零开发复杂的机器人软件。该解决方案由边缘的英伟达Jetson提供支持,使机器人能够适应位置不精确的零件,减少对昂贵夹具的依赖,让制造单元更加灵活。
打造开发者友好型ROS机器人TurtleBot3的ROBOTIS,正在将Isaac ROS集成到其AI Worker机器人中,利用GPU加速的物体感知实现视觉引导的操作任务,包括拾取、放置和对齐。
ROBOTIS使用英伟达Isaac ROS CuMotion执行物体操作任务。
FieldAI的机器人基础模型可以完全在机器人本体上运行,无需依赖云端连接,目前正在Jetson设备上集成Isaac ROS,以更好地利用GPU加速,提升机器人端AI技术栈的效率。
Noble Machines正在Jetson上使用英伟达Isaac ROS加速面向工业应用的通用机器人开发,基于现成可用的AI和感知能力构建,而非从零打造。
通过结合开放的机器人生态系统、加速计算和全新的智能体化开发工作流程,Isaac ROS 5.0帮助开发者应对物理AI挑战的两个方面:构建能力日益强大的机器人应用,并高效地在物理世界中运行这些应用。
Isaac ROS 5.0现已发布,免费且开源。开发者可以在GitHub上了解更多信息并开始使用英伟达Isaac ROS。
Q&A
Q1:英伟达Isaac ROS 5.0是什么?
A:Isaac ROS 5.0是英伟达发布的一套基于ROS构建的GPU加速软件包集合,帮助人类和AI智能体共同构建机器人应用,支持感知、导航、运动规划等机器人开发任务。
Q2:Isaac ROS 5.0支持哪些硬件平台?
A:Isaac ROS 5.0支持从入门级英伟达Jetson Orin Nano到高性能Jetson Thor设备的可扩展计算,为开发者提供从开发到部署的完整路径。
Q3:哪些公司已经在使用英伟达Isaac ROS?
A:包括麦格纳、优傲机器人、ROBOTIS、Mentee Robotics、FieldAI、Seeed Studio、Flexiv、Ouster等多家机器人和技术公司都已将Isaac ROS集成到其产品或解决方案中。
