英伟达与Hugging Face宣布扩大合作,为开源LeRobot平台引入多款全新AI模型、机器人框架及开发工具,致力于让更广泛的机器人开发者社区能够更便捷地开展机器人研发工作。

两家公司宣布,面向人形机器人的开源视觉-语言-动作基础模型英伟达Isaac GR00T 1.7,以及英伟达Isaac Teleop框架,现已正式集成至LeRobot平台。此外,面向物理AI的世界基础模型英伟达Cosmos 3的支持也已纳入规划。

上述新增内容旨在为开发者提供一套标准化工作流程,涵盖数据采集、机器人模型训练、性能评估以及AI驱动机器人的部署全流程。

Hugging Face联合创始人兼首席科学官托马斯·沃尔夫表示:"开源是一个领域将前沿研究转化为可供学习、改进和构建成果的核心路径。如今英伟达Isaac GR00T 1.7和Isaac TeleOp已集成进LeRobot,机器人开发者可以在开放环境中借助共享模型、数据和工作流程来训练和评估机器人。随着英伟达Cosmos 3的后续加入,社区将拥有一条将前沿世界模型纳入这一协作生态的完整路径。"

LeRobot是Hugging Face推出的开源机器人库,支持机器人数据集、模型与工作流程的开发、训练与共享。

英伟达表示,此次合作扩展将其逾300万机器人开发者社区与Hugging Face的1600万AI开发者社区紧密相连,进一步拓宽了物理AI技术的可及范围。

Isaac Teleop框架使开发者能够通过标准化格式从外部设备采集人类操作示范数据;Isaac GR00T 1.7则专为简化不同机器人类型与应用场景下的机器人基础模型后训练及部署流程而设计。

未来集成的英伟达Cosmos 3将允许开发者在真实数据稀缺或采集成本过高时,生成合成机器人数据、模拟仿真环境并制定机器人策略。

本次新增集成是对LeRobot现有英伟达技术生态的进一步扩充。现有资源包括:含逾35万条真实与仿真机器人轨迹数据及5700万个抓取样本的开源物理AI数据集,以及基于英伟达Isaac Sim和Isaac Lab的仿真环境。

此次合作还延伸至部署层面——在Hugging Face Reachy 2人形机器人上引入对英伟达Jetson Thor的支持,使开发者能够在开源人形机器人平台上运行视觉-语言-动作模型。

Q&A

Q1:英伟达Isaac GR00T 1.7是什么?有什么用?

A:英伟达Isaac GR00T 1.7是一款面向人形机器人的开源视觉-语言-动作基础模型,目前已集成至Hugging Face的LeRobot平台。它的主要作用是简化不同类型机器人在多种应用场景下的后训练与部署流程,让开发者更轻松地训练和评估机器人。

Q2:LeRobot平台上现在有哪些可用的英伟达资源?

A:LeRobot平台目前已集成多项英伟达资源,包括含逾35万条真实与仿真机器人轨迹、5700万个抓取样本的开源物理AI数据集,基于Isaac Sim和Isaac Lab的仿真环境,以及最新加入的Isaac GR00T 1.7模型和Isaac Teleop框架。未来还计划引入Cosmos 3世界基础模型。

Q3:英伟达Cosmos 3加入LeRobot后能解决什么问题?

A:英伟达Cosmos 3是一款面向物理AI的世界基础模型,计划后续集成至LeRobot。它的核心价值在于,当真实世界数据难以获取或采集成本过高时,开发者可利用它生成合成机器人数据、构建仿真环境并制定机器人策略,有效降低机器人研发的数据门槛。

Robotics and Automation News