仿真技术一直是机器人学习行走、滚动和跳跃的重要训练场，如今正在帮助研究人员教会机器人完成需要更精细操作的任务：对齐齿轮、连接电缆和组装小型零部件。
从移动能力到操作能力的转变，正成为本周在德克萨斯州奥斯汀举行的机器人学习大会（CoRL）的核心议题，与此同时，智能体机器人学这一新范式也日益兴起——该范式整合前沿智能体，为实体机器人系统生成可解释的代码。
在CoRL大会上，英伟达发布了一系列开放机器人技术，包括世界行动模型、仿真工具、基准测试和智能体工作流程。
英伟达的两篇论文入选CoRL最佳论文奖的六篇决赛论文，这些论文从数千份投稿中脱颖而出：
《GRAIL》（从世界模型生成人形机器人的移动操作能力）提出了一套面向机器人学习的3D资产数字生成流程以及可直接用于仿真器的场景生成方案。
《RoboTTT：机器人策略的上下文规模化》介绍了一种机器人模型及训练方法，可将视觉运动上下文规模扩展至超越现有最先进策略三个数量级，同时不增加推理延迟。
这些进展帮助研究人员在复杂任务上训练机器人，评估其在不同条件下的表现，并利用失败经验指导后续学习——从而构建起从实验室演示迈向工业部署所需的精确性、适应性和自主性。
英伟达正与Ambi Robotics、博世研究院、Dexmate、Dyna Robotics、FieldAI、Flexion、诺亦腾机器人（Noitom Robotics）、西门子、Skild AI、RLWRLD、加州大学伯克利分校、Walden Robotics以及华盛顿大学等合作伙伴展开合作，将这些技术成果带给更广泛的机器人研究社区。
世界行动模型赋能机器人自主性新高度
机器人自主性的下一阶段要求机器人能够感知周围环境，预判自身动作将如何改变环境，并以高精度执行复杂的多步骤任务。世界行动模型正是为此而生。
在CoRL大会上，英伟达推出了GR00T 2，这是一款基于英伟达Cosmos构建的开放前沿世界行动模型。该模型在多样化的机器人和人类数据上训练，其中包括10万小时的英伟达开源人类第一视角数据，使机器人能够学习灵巧的操作技能。其主要特性包括：
开箱即用的性能表现：在50项评估任务中，无需针对任务进行专门演示，成功完成了其中40项任务（至少一次）。
技能迁移能力：能够从人类演示中学习，并在不同机器人本体之间迁移技能，无需机器人自身的演示数据。
少样本泛化能力：在50项任务中，每项任务仅需一次演示即可达到71%的平均成功率，增加到五次演示后成功率提升至95%。
智能体控制能力：AI智能体可利用GR00T 2的应用程序接口及配套工具按序执行技能，并在出错时进行恢复。
目前，GR00T 2在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces基准测试中，在所有视觉语言行动模型和世界行动模型类别中均位列前三，并在多个排行榜上夺冠。
鸿海（Nexuni）正在测试将其用于机器人洗衣处理，富士康正将GR00T 2应用于服务器制造的工厂自动化领域，西门子则在多个工业应用场景中对其进行评估。
MicroAGI正在使用经过强化学习后训练的GR00T 2，配合YAM机械臂执行以太网电缆更换任务。其智能体机器人方法利用Isaac Lab 3.0和Newton自动完成仿真环境的创建与校准，策略训练也在该环境中进行。
训练出能力出众的机器人需要多样化的数据支持。英伟达的开放工作流程和模型为研究人员提供了更完善的数据采集与标注工具：
针对构建机器人训练数据集的研究人员，英伟达推出了全新的开放视频转数据工作流程，可将人类视频转化为模拟的机器人演示数据，并发起挑战赛邀请研究人员共同推动该技术发展。
英伟达EgoHand开放模型在CoRL大会上进行了演示，自发布以来两周内在Hugging Face平台的下载量已超过4万次，该模型可重建3D手部动作，训练数据来自诺亦腾机器人。
训练与规模化发生之地——仿真环境
预训练模型为机器人提供了一套核心技能。而仿真环境则让研究人员能够在将这些技能部署到实体机器人之前，大规模地训练、优化和评估这些技能。
英伟达Isaac Lab作为一款开源机器人学习框架，为这项工作提供了基础支撑。其最新版本Isaac Lab 3.0允许研究人员利用智能体快速搭建训练环境，使用即用型仿真资产，在英伟达PhysX和Newton物理求解器之间自由切换，为基于感知的训练选择渲染器，并将全新的强化学习后训练库应用于GR00T等基础模型。
精确的物理模拟对于将仿真环境中学到的技能迁移至实体机器人至关重要。与开源物理引擎Newton更紧密的集成，使Isaac Lab现在能够模拟电缆和布料等可变形物体，以及具有多个相互作用关节的机械手等复杂关节系统。
Newton集成模拟了草莓在机器人抓取下的变形过程。
Isaac Lab与Newton的结合，将精确的物理模拟与规模化能力相结合，使研究人员能够并行训练数千个仿真机器人。在一项基于视觉的灵巧操作基准测试中，搭载Newton的Isaac Lab 3.0实现了比搭载PhysX的Isaac Lab 2.3高达2.5倍的训练吞吐量。
Isaac Lab支持使用Newton和英伟达PhysX进行机器人仿真。
开发者们正在不断拓展Newton的能力边界。在CoRL大会上，Skild AI宣布推出STEEL（Scalable Throughput-optimized Engine for Embodied Learning，可扩展的吞吐量优化具身学习引擎），这是一款基于Newton构建的全新刚体物理求解器，可借助Isaac Lab加速机器人训练。
Skild AI的STEEL求解器。
Flexion展示了Isaac Lab和Newton如何助力训练其机器人智能模型Reflect，该模型将推理能力与全身操作能力相结合。
Flexion将Newton与Isaac Lab结合用于强化学习。
FieldAI正在使用Newton，以及基于英伟达Omniverse库构建的Isaac Lab和Isaac Sim，来训练和验证适用于非结构化真实环境部署的机器人策略。Dyna Robotics将展示Isaac Lab中的并行仿真如何助力训练其半人形机器人Taku的全身控制器，该机器人适用于仓储、酒店和餐饮服务场景。
Walden Robotics正在利用Isaac Sim的逼真渲染能力，在虚拟环境中训练和评估其面向制造和物流领域的通用机器人，而Dexmate则在探索如何让编程智能体在Isaac Sim中预演和优化操作策略，然后再在其Vega机器人上执行。
在Isaac Lab中构建的AlphaNIST展示了高效练习如何转化为精确执行能力。一个单一策略即可学习NIST装配任务板上的全部20项任务，仅依靠是否成功的简单信号就能操作毫米级尺寸的零件。相比针对单个任务分别训练的策略（成功率81%），该策略训练成功率超过98%，且所需GPU计算时间减少约39倍。
AlphaNIST利用Isaac Lab训练单一机器人策略，使其能够完成NIST装配任务板上的20项精密任务。
这些成果背后的关键技术是华盛顿大学与英伟达共同开发的成功引导采样（Success-Guided Sampling，简称SGS）方法。该方法将练习重点放在策略成功率约为一半的任务上，从而引导训练资源聚焦于机器人仍在学习中的技能。借助SGS，机器人训练规模可以扩展到超过一百万个并行环境。
德克萨斯大学奥斯汀分校计算机学院及其Texas Robotics项目正在利用Isaac Sim和Isaac Lab在仿真环境中训练机器人技能，使学生能够在实体硬件尚未就位的情况下提前开始开发工作。
面向机器人评估的全新工业基准测试
掌握一项技能是一项挑战，而在不断变化的条件下可靠地执行这项技能则是另一项挑战。
英伟达Isaac Lab-Arena是一款开源的规模化策略评估框架，使开发者能够组合多样化且可重复的评估方案，并并行运行策略以应对数千种变化情况。分析结果可揭示哪些条件会导致失败，从而帮助研究人员明确下一轮训练中需要改进的方向。该框架最新版本0.4的开发者预览版已在CoRL大会上发布。
DexBench和VABAR是两项全新的开放基准测试，是首批利用Isaac Lab-Arena和Newton来衡量机器人在工业任务中的灵巧性和适应性的基准之一。
DexBench由RLWRLD与英伟达合作开发，将灵巧性评估从桌面测试扩展到真实工作流程场景中。该基准基于英伟达Isaac Lab-Arena构建，涵盖零售、物流、制造和酒店服务四个场景下的15项任务，用于测试机器人在物体、空间和物理条件变化方面的泛化能力。
Genesis AI、mimic robotics等行业合作伙伴正通过早期访问权限对DexBench进行评估。
各团队可在Bifrost的评估平台Manifold上运行DexBench，用于大规模扩展机器人仿真测试，无需额外配置，内置故障分析功能，并为初期评估提供免费额度。
VABAR（智能体机器人变分自动化基准）由加州大学伯克利分校与英伟达联合开发，用于在六项工业任务中评估机器人表现。每项任务均配有标准化的变化条件、难度分级和成功指标。
一项模拟的工具分类任务展示了VABAR如何评估面向工业工作流程的机器人操作技能。
智能体将技能转化为机器人程序
成功完成任务要求机器人协调多种技能，并能在出现问题时及时调整。为这些多步骤任务构建可靠的程序，仍然是一项挑战。
智能体机器人学正是解决这一挑战的关键所在。
加州大学伯克利分校推出的全新"图谱即策略"（Graph-as-Policy，简称GaP）框架利用智能体将单个技能连接成完整的机器人程序。智能体利用英伟达Isaac开放仿真技术对这些程序进行测试，并根据失败结果不断优化。这有助于研究人员以更少的数据实现开发规模化，同时保持程序的可解释性，便于工程师在部署前进行审查和验证。
GaP利用智能体和仿真技术，将单项机器人技能转化为协调一致的动作，例如擦拭吧台。
"对我而言，智能体机器人学是自1995年互联网诞生以来最令人振奋的技术发展，"加州大学伯克利分校机器人学教授、VABAR和GaP项目负责人肯·戈德堡（Ken Goldberg）表示。
Ambi Robotics、博世研究院和西门子都在积极探索GaP在各类工业场景智能体机器人工作流程中的应用。
更多信息请关注英伟达在CoRL大会上的相关内容。
