仿真技术长期以来都是机器人学习行走、滚动和跳跃的试验场，如今它正帮助研究人员教会机器人完成需要更精细操作的任务：对齐齿轮、连接线缆以及组装小型部件。
从运动控制转向操作控制，正成为本周在德克萨斯州奥斯汀举行的机器人学习会议（CoRL）的核心议题，与此同时，智能体机器人学这一新范式也在兴起——它融合前沿智能体，为物理机器人系统生成可解释的代码。
在 CoRL 上，NVIDIA 推出了一系列新的开放机器人技术，包括世界行动模型、仿真工具、基准测试和智能体工作流程。
在数千篇投稿中，NVIDIA 的两篇论文入围了 CoRL 最佳论文奖的六篇决赛论文：
GRAIL（Generating Humanoid Loco-Manipulation from World Models），该论文提出了一套面向机器人学习的三维资产和可直接用于仿真的场景的数字生成流程。
RoboTTT：机器人策略的上下文扩展，该论文提出了一种机器人模型和训练方法，可在不增加推理延迟的情况下，将视觉运动上下文扩展至比现有最先进策略高三个数量级的水平。
这些进展帮助研究人员在复杂任务上训练机器人，评估其在不断变化条件下的表现，并利用失败经验指导后续学习——从而构建出从实验室演示迈向工业部署所需的精度、适应性和自主性。
NVIDIA 正与 Ambi Robotics、博世研究院、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、西门子、Skild AI、RLWRLD、加州大学伯克利分校、Walden Robotics 以及华盛顿大学等合作伙伴共同努力，将这些进展带给更广泛的机器人学社区。
世界行动模型推动机器人自主性迈向新层次
机器人自主性的下一个层次，要求机器人能够感知周围环境，预测自身动作将如何改变环境，并以高精度执行复杂的多步骤任务。世界行动模型正是为此而生。
在 CoRL 上，NVIDIA 推出了 GR00T 2，这是一款基于 NVIDIA Cosmos 构建的开放前沿世界行动模型。该模型基于多样化的机器人和人类数据训练而成，包括 10 万小时的 NVIDIA 开源人类第一视角数据，使机器人能够学习灵巧的操作技能。其主要特点包括：
开箱即用性能：在 50 项评估任务中，无需针对特定任务的演示数据，即可至少成功完成一次其中 40 项任务。
技能迁移：可从人类演示中学习，并在不同机器人本体之间迁移技能，无需机器人自身的演示数据。
少量数据下的泛化能力：在 50 项任务中，每项任务仅需一次演示，平均成功率即可达到 71%，若增加到五次演示，成功率可提升至 95%。
智能体控制：AI 智能体可利用 GR00T 2 的应用程序接口及配套工具，按顺序执行技能并从错误中恢复。
GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 等基准测试的所有视觉语言行动模型和世界行动模型类别中，均位列前三，并多次登上排行榜榜首。
Nexuni 正在测试该模型用于机器人洗衣处理，富士康正将 GR00T 2 应用于服务器制造的工厂自动化领域，西门子也在评估其在多种工业场景中的应用。
MicroAGI 正在使用经过强化学习后训练的 GR00T 2，通过 YAM 机器人手臂执行以太网线缆更换操作。其智能体机器人方法利用 Isaac Lab 3.0 和 Newton 自动完成仿真环境的创建与校准，相关策略也在该环境中完成训练。
训练能力强大的机器人需要多样化的数据。NVIDIA 开放的工作流程和模型为研究人员提供了更好的数据采集与标注工具：
对于构建机器人训练数据集的研究人员，NVIDIA 新推出的开放 Video to Data 工作流程可将人类视频转化为模拟的机器人演示数据，同时发起了一项挑战赛，邀请研究人员对其进行改进。
NVIDIA EgoHand 开放模型正在 CoRL 上展示，自推出以来两周内在 Hugging Face 上的下载量已超过 4 万次，该模型可重建三维手部运动，训练数据来自 Noitom Robotics。
训练与规模化发生之地——仿真环境
预训练模型为机器人赋予了一套核心技能。而仿真技术则让研究人员能够在将这些技能部署到物理机器人之前，大规模地进行训练、优化和评估。
NVIDIA Isaac Lab 作为一个开源机器人学习框架，为这项工作提供了基础。其最新版本 Isaac Lab 3.0 允许研究人员借助智能体快速搭建配备仿真就绪资产的训练环境，在 NVIDIA PhysX 和 Newton 两种物理求解器之间切换，为基于感知的训练选择渲染器，并对 GR00T 等基础模型应用新的强化后训练库。
准确的物理建模对于将仿真中学到的技能迁移到真实机器人上至关重要。与开源物理引擎 Newton 更紧密的集成，使 Isaac Lab 现在能够模拟线缆、布料等可变形物体，以及诸如具有多个相互作用关节的机器人手等复杂关节系统。
与 Newton 的集成可模拟草莓在机器人夹持下发生变形的过程。
Isaac Lab 与 Newton 相结合，将精确的物理建模与规模化能力融为一体，使研究人员能够并行训练数千个仿真机器人。在一项基于视觉的灵巧操作基准测试中，搭载 Newton 的 Isaac Lab 3.0 相比搭载 PhysX 的 Isaac Lab 2.3，训练吞吐量提升高达 2.5 倍。
Isaac Lab 支持基于 Newton 和 NVIDIA PhysX 的机器人仿真。
开发者们正在扩展 Newton 的功能。在 CoRL 上，Skild AI 宣布推出 Scalable Throughput-optimized Engine for Embodied Learning（简称 STEEL），这是一款基于 Newton 构建的新型刚体物理求解器，用于加速 Isaac Lab 中的机器人训练。
Skild AI 的 STEEL 求解器。
Flexion 展示了 Isaac Lab 与 Newton 如何帮助训练其机器人智能模型 Reflect，该模型结合了推理能力与全身操作能力。
Flexion 利用 Newton 配合 Isaac Lab 进行强化学习。
FieldAI 正在使用 Newton——以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim——来训练和验证机器人策略，以便将其部署到非结构化的真实世界环境中。Dyna Robotics 将展示 Isaac Lab 中的并行仿真如何帮助训练其半人形机器人 Taku 的全身控制器，该机器人适用于仓库、酒店和餐饮服务场景。
Walden Robotics 正利用 Isaac Sim 的照片级真实渲染能力，在虚拟环境中为制造和物流场景训练与评估其通用机器人，而 Dexmate 正在探索如何让编码智能体在 Isaac Sim 中演练并优化操作策略，然后再将其部署到自家的 Vega 机器人上。
在 Isaac Lab 中构建的 AlphaNIST 项目展示了高效演练如何转化为精度提升。该系统用单一策略学习 NIST 装配任务板上的全部 20 项任务，仅凭“是”或“否”的成功信号即可操纵毫米级的零部件。相比针对每项任务分别训练策略时 81% 的训练成功率，AlphaNIST 的训练成功率超过 98%，且所用 GPU 时间约减少了 39 倍。
AlphaNIST 利用 Isaac Lab 训练单一机器人策略，使其能够应对 NIST 装配任务板上的 20 项精密任务。
这些成果的背后，是来自华盛顿大学和 NVIDIA 的“成功引导采样”（Success-Guided Sampling，简称 SGS）方法。该方法将训练重点集中在策略成功率约为一半的任务上，引导训练朝着仍在学习中的技能方向推进。借助 SGS，机器人训练规模可以扩展到超过一百万个并行环境。
德克萨斯大学奥斯汀分校的计算机学院和德克萨斯机器人学中心正在使用 Isaac Sim 和 Isaac Lab 在仿真环境中训练机器人技能，让学生在物理硬件尚未配备之前就能开始开发工作。
面向机器人评估的全新工业基准测试
掌握一项技能是一种挑战，而在不断变化的条件下可靠地执行这项技能则是另一种挑战。
NVIDIA Isaac Lab-Arena 是一个用于大规模策略评估的开源框架，使开发者能够组合多样化且可重复的评估场景，并并行运行策略以应对数千种变化情况。相关分析能够揭示哪些条件会导致失败，从而让研究人员明确下一轮训练中需要改进的地方。该框架最新版本 0.4 的开发者预览版已在 CoRL 上亮相。
DexBench 和 VABAR 是两项全新的开放基准测试，属于首批利用 Isaac Lab-Arena 和 Newton 来衡量机器人在工业任务中灵巧性和适应性的基准测试之一。
DexBench 由 RLWRLD 与 NVIDIA 合作开发，将灵巧性评估从桌面测试环境拓展到了真实的工作流程中。该基准基于 NVIDIA Isaac Lab-Arena 构建，涵盖零售、物流、制造和酒店服务四大场景中的 15 项任务，用于测试机器人在物体、空间和物理变化方面的泛化能力。
Genesis AI、mimic robotics 等多家行业合作伙伴正通过早期访问权限对 DexBench 进行评估。
团队可以在 Manifold（Bifrost 用于扩展机器人仿真规模的评估平台）上运行 DexBench，无需任何配置，内置故障分析功能，并为初步评估提供免费额度。
VABAR（Variational Automation Benchmark for Agentic Robotics，智能体机器人学可变自动化基准）由加州大学伯克利分校与 NVIDIA 共同开发，可对机器人在六项工业任务中的表现进行评估，每项任务均设有标准化的变化条件、难度分级和成功度量指标。
一项模拟工具分拣任务展示了 VABAR 如何评估面向工业工作流程的机器人操作技能。
智能体将技能转化为机器人程序
成功完成任务要求机器人协调多种技能，并在出现问题时做出调整。为这类多步骤任务构建可靠的程序，仍然是一项挑战。
智能体机器人学正是解决这一挑战的方法。
加州大学伯克利分校推出的全新 Graph-as-Policy（GaP）框架利用智能体将各项独立技能串联成机器人程序。这些智能体借助 NVIDIA Isaac 开放仿真技术对程序进行测试，并根据失败结果进行优化。这有助于研究人员在使用更少数据的情况下扩展开发规模，同时保证程序的可解释性，便于工程师在部署前进行审查和验证。
GaP 利用智能体和仿真技术，将机器人的各项独立技能转化为协调一致的动作，例如擦拭吧台。
“对我来说，智能体机器人学是自 1995 年互联网诞生以来，最令人兴奋的技术发展，”加州大学伯克利分校机器人学教授、VABAR 和 GaP 项目的负责人 Ken Goldberg 表示。
Ambi Robotics、博世研究院和西门子都在探索将 GaP 应用于其在各类工业场景中的智能体机器人学工作流程。
欲了解更多信息，请加入 NVIDIA 在 CoRL 上的交流活动。
Sasa Docca
机器人产品营销负责人，NVIDIA
来源：NVIDIA
