Runway是生成式AI视频技术领域最知名的开发商之一，该公司近日宣布进军机器人领域，推出名为Praxis-1的开源权重AI模型，旨在利用从视频中学习到的知识来控制物理机器人。
开源权重意味着开发者可以下载该模型并自行运行或改造，而不必仅通过Runway的服务器访问。
该公司将Praxis-1描述为其首个“世界行动模型”，并表示该模型基于支撑其通用世界模型的同一大规模视频预训练技术。
Runway目前正与机器人公司Noble Machines、Standard Bots和Ultra Robotics合作，在多种类型的机器人硬件上测试Praxis-1。公司计划在未来几个月内将该模型公开发布。
此举使Runway的业务范围超越了其已有的生成式视频业务，进入了快速发展的物理AI与机器人市场。
Runway表示：“今天我们宣布推出Praxis-1，这是我们首个开源权重世界行动模型。它基于支撑我们通用世界模型的同一大规模视频预训练技术构建。我们正在与早期合作伙伴积极测试Praxis-1在多种机器人形态上的表现，并将在未来几个月内公开发布该模型。”
利用互联网视频训练机器人
Praxis-1背后的核心理念是，机器人不一定需要主要依靠海量的机器人生成训练数据来学习。
收集真实世界的机器人数据既昂贵又耗时，尤其是当这一过程需要反复通过远程操作来完成任务时。
Runway转而希望利用数量远远更庞大的普通视频素材来训练AI模型。
视频可以教会模型了解物体行为、运动方式、物理交互以及人类如何执行任务。Runway认为，一个从这种物理世界理解出发的机器人策略，相较于主要依靠机器人动作数据训练出的策略，具有明显优势。
该公司表示：“一个已经通过视频预训练理解了物理合理性和物体行为的策略，相比仅依靠动作数据构建的策略，拥有巨大的先发优势。”
Runway将这种方法与大语言模型的发展进行了类比，大语言模型在被用于更具体的任务之前，会先从海量文本中获得对语言的广泛理解。
该公司表示，其实验结果显示，机器人领域也存在类似的规模效应——随着训练中使用的第三人称视角视频数量增加，机器人策略的表现也随之提升。
网络视频接近机器人训练数据效果
Runway展示的一项实验比较了使用普通网络视频预训练的策略与使用远程操作机器人视频预训练的策略。
经过微调后，该公司报告称，最初使用网络视频训练的模型最终放置误差为16.1厘米，而使用远程操作机器人画面训练的模型误差为16.0厘米。
Runway指出，在所报告的误差范围内，这一差异在统计学上并不显著。
该公司还在测试Praxis-1处理更复杂的操作问题，包括杂乱环境、透明物体、可变形材料以及一组外观相似物体的情况。
在另一项演示中，Runway展示了同一策略无需重新训练即可同时在受控的工作室环境和家庭厨房中运行。
Runway将世界模型引入机器人领域
Praxis-1建立在Runway此前开发的交互式视频与世界模型（包括Solaris和GWM Worlds 2）基础之上。
这些模型试图表现环境与物体如何随时间变化，而不仅仅是生成单张图像或预先设定的视频序列。
Runway表示：“通过教会我们的模型如何生成精确的物理效果——物体如何运动、手部如何移动、任务进行到一半时是什么样子——我们已经为数字世界和物理世界中的智能体训练创建了动态、复杂的环境。”
Praxis-1将这一方法应用于机器人领域，Runway的目标是开发一种能够跨不同机器人形态和环境工作的通用策略。
该公司还表示，此前的实验发现，在其世界模型内部模拟机器人策略所得出的结果，与后续真实世界表现的相关性达到0.95。
在三种不同机器人平台上进行测试
Praxis-1目前正与三家早期机器人合作伙伴展开测试。
Noble Machines正在评估该模型在双臂操作方面的表现，Standard Bots则将其运行在旗下RO1六自由度机械臂上。Ultra正在将Praxis-1与一个移动机器人平台进行测试。
Runway表示，在模型正式公开发布之前，早期接入计划将扩展至更多公司。
该测试计划旨在评估不同机器人配置和运行环境下的性能与安全性。
Praxis-1将以开源权重形式发布
Runway还计划以开源权重的方式发布Praxis-1，而非将其限制为仅可通过专有托管模型访问。
该公司将这一决定部分归因于其观点：随着物理AI的发展，AI模型与机器人硬件之间更强的互操作性将变得愈发重要。
Runway表示：“我们将开源世界模型视为一种具有复合效应的优势，它能为硬件开发者提供目前尚不具备的灵活性与掌控力。”
目前，Runway正在接受机器人开发者的申请，希望在模型更广泛发布之前，在自己的硬件上测试Praxis-1。
此次发布使Runway进入了AI研究中日益重要的一个领域：利用大规模世界模型以及从视频中获取的知识，训练能够与物理世界交互的机器设备。
如果这一方法能够实现规模化，Praxis-1的意义可能在于缓解机器人领域长期存在的瓶颈之一——获取足够多样化的真实世界训练数据，以打造能够在非严格受控环境中可靠运行的机器人。
Q&A
Q1：Praxis-1是什么？
A：Praxis-1是Runway推出的首个开源权重世界行动模型，基于大规模视频预训练技术构建，旨在利用从视频中学习到的知识来控制物理机器人。
Q2：Praxis-1与传统机器人训练方法有什么不同？
A：传统方法主要依靠昂贵且耗时的真实机器人数据，而Praxis-1利用大量普通网络视频进行预训练，让模型先理解物理世界的行为规律，再应用于机器人控制任务。
Q3：Praxis-1目前在哪些机器人上进行测试？
A：Praxis-1正在与Noble Machines、Standard Bots和Ultra Robotics三家公司合作测试，分别涉及双臂操作、六自由度机械臂和移动机器人平台。
