多数搭载AI的机器人在部署后基本就停止了学习。Skylark Labs的研究人员联合卡内基梅隆大学和加州大学伯克利分校的学者，开发出一种新方法，旨在让机器人能够从现实世界中的成功经验中持续学习——而无需重新训练底层AI模型，也不会遗忘已经掌握的能力。
研究人员将这一新架构称为"持续场自适应模型"（Continual Field-Adaptive Models，简称CFAM），相关技术已在最新发表的研究论文《部署后物理AI的持续场自适应模型》中进行了阐述。
这项研究所解决的核心问题正变得愈发重要，因为机器人正从受控的实验室和工厂走向更不可预测的环境中。
现代机器人学习模型可能需要海量的训练数据。然而一旦部署，机器人必然会遇到与训练数据不同的情况——物体的摆放位置可能不同，负载可能更重，地形可能发生变化，或者出现未曾预料到的障碍物。
每次遇到这种情况都重新训练一个大型AI模型可能并不现实，尤其是当机器人在远程运行、计算能力有限或无法稳定连接数据中心时。
在现场更新模型还会带来另一个问题：灾难性遗忘，即学习新信息会导致AI系统丢失此前已掌握的部分能力。
CFAM旨在通过将稳定的、已学习的能力与一种可以在部署后持续增长的快速记忆形式分离开来，解决上述两个问题。
赋予机器人长期记忆与短期记忆
研究人员的灵感来源于人脑中的互补学习系统。
CFAM包含三个相对稳定的组件，研究人员将其称为感知皮层、推理皮层和行动皮层。三者协同工作，使机器能够感知周围环境、判断需要执行的任务，并执行相应的物理动作。
这些组件在部署前完成训练，随后被冻结。
另一个独立的快速学习组件，称为"胶囊场"（Capsule Field），用于存储运行过程中遇到的新经验。
研究人员将这种架构大致类比为人脑中新皮层与海马体之间的关系：一方提供相对稳定的长期知识，另一方则能快速编码新经验。
存储在胶囊场中的独立单元被称为"能力胶囊"（Competence Capsules）。
CFAM不是去改变机器人底层AI模型中数以百万甚至数十亿计的参数，而是将一次有用的新经验记录为一个胶囊，并在再次遇到类似情况时调取该信息。
关键在于，这一过程发生在机器人本体上，不需要传统的基于梯度的重新训练。
通过工作来扩展能力的机器人
CFAM背后更有趣的理念之一是，机器人的有效操作范围可以仅通过成功的运行逐渐扩展。
研究人员将这一过程描述为扩展机器人的"能力包络"（competence envelope）。
举例来说，假设一个机器人已经学会在特定位置抓取某个物体。如果同一物体随后出现在更远的位置或以不同的朝向出现，机器人不必从零开始重新学习该任务。
CFAM使用研究人员称为"几何残差变换"（Geometric Residual Transform，简称GRT）的方法，将已存储的动作适配到新情况的几何特征上。
正如论文所述，这种技能实际上是"重新瞄准，而非重新学习"。
如果机器人在接近其现有能力边界的情况下成功完成任务，这次成功的经验便可被存储为另一个能力胶囊。
下次机器人遇到类似情况时，便可直接调用这一经验。
因此，随着时间推移，其已存储技能所覆盖的情况范围会不断扩大。
这一方法的适用范围不局限于机器人操作。研究人员在五种不同类型的物理系统上对CFAM进行了测试：机械臂、四足机器人、人形机器人、四旋翼飞行器和越野车辆。
例如对于四足机器人，变化可能涉及遇到不同的地形。对于自动驾驶车辆或无人机，相关的几何因素则可能涉及路线、航点、地形和障碍物，而非被操作的物体。
用更少的数据进行学习
研究人员还报告称，部署前所需的训练数据量大幅减少。
他们的实验使用了Skylark Labs内部数据集，其中包含跨五种物理平台的260多万条轨迹数据。研究人员表示，CFAM以及用于物理平台对比的标准策略基线均在同一数据集上进行训练。
据论文所述，CFAM仅使用40%的数据量（相当于减少2.5倍的前期训练轨迹数）即可达到使用完整前期训练数据集训练的标准策略所达到的运行水平。
随后，研究人员考察了系统在部署后遇到接近但超出此前训练分布范围的情况时会发生什么。
通过自主捕捉经过验证的成功案例，动作成功率从74.0%提升至87.9%，提高了13.9个百分点。
在连续仿真实验中，CFAM还表现出明显更少的遗忘现象。
研究人员报告的后向迁移指标为-0.5个百分点，相比之下，使用LoRA（一种广泛应用的高效AI模型适配方法）的后向迁移指标为-11.4个百分点。
超越数据中心的物理AI
当机器人在无法假定存在云连接或大型计算基础设施的环境中运行时，本地学习能力就显得尤为重要。
该论文重点关注国防、公共安全和危险环境中的关键任务应用。
相关示例包括检查不稳定的矿井、处理疑似爆炸装置、搜索地震损毁的建筑结构，以及在受辐射污染的设施内作业。
研究人员还指出了更为遥远的应用可能性，包括深海作业和行星探测，在这些场景中，通信延迟或缺乏合适的训练数据使传统依赖云端的方法难以实施。
类似的原理最终也可能适用于商业化的物理AI应用。部署在工厂、仓库、建筑工地、农场等不断变化环境中的机器人，经常会遇到原始训练数据中未能完美呈现的情况。
一台能够保留这些遭遇中的有用经验的机器，有可能在整个运行生命周期中变得更有能力，而不是始终停留在离开实验室时所具备的大致能力水平上。
Skylark Labs将CFAM描述为一种支持这类设备端持续学习的架构，尤其适用于连接性、计算资源和训练数据受限的场景。
并非无限制的自我学习
然而，研究人员所展示的能力存在一个重要边界。
CFAM并非旨在让机器人遇到完全陌生的问题时自主发明一项全新的技能。
该系统所解决的是研究人员所称的"近分布外"（near-out-of-distribution，简称near-OOD）情况。
一个已经学会抓取某类物体的机器人，可能将该能力扩展到相关的物体上。一个熟悉某种地面的行走机器人，可能学会应对另一种相关类型的地形。
但对于系统完全不具备相关技能体系的全新任务——研究人员称之为"开放世界新颖性"——则超出了当前研究的范畴。
这一区分使得CFAM更像是一种能够在已有知识基础上不断构建的机器架构，而非能够自发学会任何事物的机器人系统。
对于物理AI而言，这可能才是更具现实意义的能力。
如今的机器人学习系统已能在实验室中展现出日益复杂的行为。而真正的挑战在于，当这些机器进入不可预测的物理世界后，如何维持并扩展这种能力。
CFAM提出了一种弥合这一差距的方法：在部署前教会机器人相对少量的技能，让其能够将这些技能适配到新情况中，在本地记住成功的经验，并且在整个过程中无需不断重写赋予其原始能力的AI系统。
关于研究团队
该论文由隶属于Skylark Labs、卡内基梅隆大学和加州大学伯克利分校的研究人员共同撰写。
Amarjot Singh——Skylark Labs：Skylark Labs创始人兼CEO，研究方向聚焦于面向物理与安全应用的类脑、数据与计算高效型AI。
Tanmay R. Pancholi——Skylark Labs：该公司研究人员，CFAM研究论文合著者。
Jainam Kothari——Skylark Labs：该公司研究人员，CFAM研究论文合著者。
Shrirang Mahajan——Skylark Labs：该公司研究人员，致力于公司CFAM物理AI架构及相关持续学习技术的研究。
Ketan Bansal——Skylark Labs：该公司研究人员，CFAM研究论文合著者。
Vince Nakayama——Skylark Labs：该公司研究人员，CFAM研究论文合著者。
Zackory Erickson——卡内基梅隆大学：该校机器人学院助理教授，研究方向涵盖机器人学习、移动操作、传感及物理人机交互。
Jeff Schneider——卡内基梅隆大学：该校机器人学院研究教授，专注于机器学习、自主系统、强化学习与机器人学。
Giuseppe Loianno——加州大学伯克利分校：机器人研究员，敏捷机器人与感知实验室创始人，专注于自主与敏捷机器人系统研究，尤其是空中机器人。
Alexandre M. Bayen——加州大学伯克利分校：该校廖赵工程学教授，研究领域涵盖控制、优化、自主系统与交通运输。
Q&A
Q1：CFAM是什么？它解决了什么问题？
A：CFAM是Skylark Labs联合卡内基梅隆大学、加州大学伯克利分校研究人员开发的持续场自适应模型架构，能让机器人在部署后持续从成功经验中学习，无需重新训练底层AI模型，同时避免遗忘已有能力。
Q2：CFAM如何让机器人在工作中变得更强？
A：CFAM通过"能力胶囊"存储成功的新经验，并用几何残差变换技术将已有技能适配到新情况，机器人成功完成任务后会将经验保存下来，使其能力范围随运行时间逐渐扩展，而无需从零学习。
Q3：CFAM适用于哪些机器人和场景？
A：研究人员在机械臂、四足机器人、人形机器人、四旋翼飞行器和越野车辆五种物理平台上测试了CFAM，应用场景涵盖矿井检查、爆炸物处理、地震救援、辐射环境作业，以及工厂、仓库等商业场景。
