制造车间、仓库和生产线的环境往往并不固定——任务会变化、布局会调整、新产品会不断出现，而大多数机器人如果不经过大量重新编程就难以适应这些变化。
Skild AI 新推出的 S1 机器人基础模型旨在解决这一问题，其设计目标是让机器人能够通过观看单段视频演示，学会此前从未接触过的长周期任务。该模型于上周发布，以视频作为输入来理解并执行任务，且无需更新模型权重或进行任务专属的后训练——这种技术被称为“上下文学习”。
Skild在NVIDIA的AI基础设施上构建了S1并完成了相关研究，这也是双方在合成数据生成、模型训练、仿真以及现实世界物理AI部署等多个领域展开的广泛合作的一部分。两家公司正携手推动可适应性机器人智能从实验室走向工厂及其他动态运营环境。
“通过经验学习，而不是预先编程，这是机器人技术领域发生的一次重大转变，”Skild AI联合创始人兼首席执行官迪帕克·帕塔克（Deepak Pathak）表示。“NVIDIA Isaac Lab和NVIDIA Cosmos技术帮助Skild打造出可扩展、多样化的经验数据，这正是其机器人在众多场景和不同形态下学习所需要的。”
此次发布之际，该公司在完成首次商业部署10个月后，年化营收已达到1亿美元。在此期间，Skild已建立起超过60个部署合作伙伴关系，业务涵盖制造、物流、检测、安保、食品加工等多个应用领域。
从一段视频学会新工作
大多数工业机器人是为固定工作而设计的，因此每一种新产品、新流程或新布局都需要更多数据、重新训练和验证。
S1采取了不同的方式：操作人员录制一段所需任务的视频，并将其作为提示提供给模型。模型会解读演示中的意图、涉及的物体以及操作顺序，然后将这些内容映射为面前机器人可执行的动作——整个过程无需重新训练，而且这类任务往往并不在其预训练数据集之内。
S1能够执行时长最长达10分钟的陌生任务，包括植物移盆、制作煎饼、手冲咖啡冲泡以及套件组装等。这些任务可能涉及数十个操作步骤，需要机器人以此前从未执行过的顺序组合各项技能。
在一次植物移盆测试中，Skild AI团队从录制演示到在硬件上实现自主执行，仅用了11分钟。该模型还能在物体位置发生变化时进行调整，从错误中恢复，并按照未被明确编程的顺序组合各项技能。
在Skild针对全新多步骤任务的测试中，其S1机器人在每个步骤的成功率约为66%，而一款类似的AI系统的成功率仅为9%——提升幅度超过七倍。Skild还估计，向机器人展示一段简短的视频示例，其作用相当于提供约380个实际操作训练样本。而人工手动收集这些样本可能需要耗费50至100个小时。
从研究走向工厂实际作业
S1打破了每次出现新因素就必须不断重新训练机器人的循环，操作人员可以直接演示新任务，而无需为每次变化重新收集数据集或运行训练。在客户协议允许的情况下，Skild商业部署中积累的经验可以反馈至更广泛的模型，从而帮助加速未来的部署。
这项工作已经在工厂车间中付诸实践。Skild、NVIDIA和富士康正在双臂操作机器人上部署Skild Brain，用于NVIDIA Blackwell系统的高精度组装。在一次演示的工作流程中，一台机器人完成了汇流条和限位块的安装，拧紧16颗螺钉，并在多步骤任务中应对各种干扰进行调整。这项工作需要精确的运动控制、具备接触感知的控制能力、顺序跟踪，以及在实际场景与预期计划不同时进行恢复的能力。
NVIDIA技术贯穿整个开发周期
NVIDIA的加速计算能力为Skild提供了充足的算力规模，使其能够利用仿真、人类视频、远程操作以及（在允许的情况下）部署数据来训练其共享的机器人大脑。NVIDIA Cosmos开放世界基础模型有助于丰富训练数据的多样性，并将视频转化为结构化描述，而Cosmos Curator则有助于大规模地对数据进行标注、筛选和整理。
Skild广泛使用NVIDIA的开放仿真框架，在实际部署前对其机器人大脑进行训练和验证。NVIDIA Omniverse库以及NVIDIA Isaac Sim框架提供基于物理规律的虚拟环境，用于生成数据、测试边缘情况以及验证行为表现。
Skild还通过在Isaac Lab（一个开放的模块化机器人学习框架）中进行强化学习，进一步强化其机器人大脑的技能水平。在Newton物理引擎的驱动下，Isaac Lab帮助Skild的工程师精确建模力、接触、碰撞和压力等各种物理参数，从而缩小仿真与现实之间的差距。
Skild和NVIDIA还在共同开发新的GPU加速仿真求解器，能够快速而准确地模拟机器人如何在物理层面接触、抓握和操作固体物体。这些技术不久将作为Newton的一部分，向所有开发者开放使用。
随着模型逐步走向生产应用，NVIDIA Nsight工具帮助工程师在训练过程中发现性能瓶颈，而NVIDIA TensorRT软件开发套件则对推理过程进行优化，使机器人能够在现实物理世界中快速做出响应。这些技术共同将数据、仿真、训练和部署等各个环节连接起来，而不是将它们视为彼此独立的系统。
Q&A
Q1：Skild AI的S1模型有什么特别之处？
A：S1是Skild AI推出的机器人基础模型，其最大特点是可以通过观看单段视频演示，学会此前从未接触过的长周期任务，无需更新模型权重或进行专门的后训练。
Q2：S1机器人的任务成功率如何？
A：在针对新的多步骤任务的测试中，S1机器人每个步骤的成功率约为66%，相比之下类似AI系统的成功率仅为9%，提升幅度超过七倍。
Q3：Skild AI和NVIDIA的合作具体体现在哪些方面？
A：双方合作涵盖合成数据生成、模型训练、仿真以及实际部署等多个环节，包括使用NVIDIA Cosmos、Isaac Lab、Omniverse等技术，并与富士康合作将Skild Brain部署于NVIDIA Blackwell系统的组装工作中。
