人类天生就具有直觉能力，我们可以感知超越字面词语的更深层含义。现在，麻省理工学院工程师开发的一款人工智能辅助学习平台，正让机器人能够从人类自然语言指令中解读出更丰富的含义。
在本月举行的机器人学习年会上，麻省理工学院与纽约大学的研究人员将发布一项研究，介绍了FLEX——一种用于机器人运动规划的灵活特征编辑流程。
借助FLEX，人类可以通过自然的对话式语言向机器人下达指令。机器人不仅能按字面意思执行指令，还能深入理解词语背后的含义，从而得出更广泛的推断，进而提升其运动规划任务的表现。
研究团队在多个模拟场景中展示了FLEX的效果，其中一个场景是机器人端咖啡。在这些虚拟场景中，人通过输入自然语言指令与机械臂进行交互。当机器人在杂乱的桌面上移动咖啡杯时，人可能会输入“别洒在笔记本电脑上！”作为回应，机器人会推理为什么应该避开笔记本电脑。为此，FLEX引入了大语言模型——这是一种基于海量文本库（包括社交媒体帖子、视频字幕和网页内容）训练的AI系统，大语言模型利用这些数据来识别更广泛的趋势、模式和归纳规律。
“大语言模型已经阅读过互联网上海量的文本，”该研究的作者、麻省理工学院计算机科学与人工智能实验室（CSAIL）博士后内森·丹勒（Nathan Dennler）说道。“可能有人写过类似‘哦，我的手机掉进水里了，现在坏了’，或者‘我把咖啡洒在电脑上了，现在它不能用了’这样的内容。因此，大语言模型会捕捉到这样一种概念：液体加上设备会导致设备损坏。”
通过大语言模型，机器人推断出它也应该避免碰撞所有电子设备。在更新后的路径中，机器人会同时避开笔记本电脑和附近的手机，而无需人明确说明这一点。
“这里的核心理念是，你说出的话背后存在某种更高层次的意图，”丹勒说。“人类自然而然就能理解这一点。但要让机器人也理解，就必须仔细地解释清楚，这需要耗费时间和精力。FLEX提供了一种与机器人沟通的接口，让你可以告诉它，‘当人们这样说的时候，他们的意思是那样。’”
这项研究由麻省理工学院航空航天系助理教授安德里亚·博布（Andreea Bobu）主导。合著者包括纽约大学的奥德丽·李（Audrey Lee）和伊利亚·苏霍卢茨基（Ilia Sucholutsky）。
超越言语本身
在麻省理工学院，博布领导着协作学习与自主研究实验室（CLEAR实验室），她的团队致力于开发能够为人类服务、与人类协作并在人类周围自主运行的智能体。她专注于开发能够执行物理任务的辅助型和家用机器人，使其能够根据人类自然的对话式指令进行实时推理和适应。
“机器人使用数学方法进行轨迹规划。但我们不能指望消费者学会这套数学知识，才能告诉机器人该做什么，”丹勒说，他也是CLEAR实验室的成员。“与让人们学习以特定方式使用机器人相比，我们的目标是通过自然语言与机器人进行交互。”
机器人学界正投入大量精力，将自然语言融入机器人学习流程。目前已有多种策略，包括利用语言来明确任务目标、重新引导机器人的运动轨迹，以及更新机器人对安全路径的理解。这些现有方法主要利用自然语言告诉机器人如何在物理层面执行任务。但机器人实际上能从我们所说的话中学到更多。
博布及其同事正在扩展机器人能从自然语言指令中学习的内容范围。在这项新研究中，他们专注于让机器人能够从有限的自然语言指令中，解读出用户未明确表达的潜在偏好。
吸收常识
该团队推出的新型机器人学习平台FLEX，是一个三步流程，帮助机器人从自然语言指令中解读出比字面指令更丰富的信息。
第一步“添加”，指示机器人根据用户的自然语言指令，将某个特征添加到其环境中与当前任务相关的事物清单里。例如，当机器人将保龄球从一个地方移动到另一个地方时，有人可能会插话说“别把它掉在我的杯子上！”机器人随即会将杯子加入到其运动路径中需要避开的事物清单中。这第一步正是以往方法的工作方式。每当人做出一次修正，机器人就会在特征清单中新增一项，并更新其轨迹以避开这些特征。
“问题出现在当你的特征清单变得极其冗长时，而其中一些特征可能已不再适用，因为你的环境可能已经发生了变化，”丹勒说道，他指出，如果人必须明确指定每一个需要避开的具体特征，这种方法会变得十分繁琐。
第二步“归纳”，是FLEX所提供的新颖解决方案。这一步引入了大语言模型——在本研究中使用的是GPT-4o——它会综合考虑杯子以及此前用户已明确要求避开的其他特征。大语言模型会自动在其庞大的数据库中搜索这些特征之间的模式与关联，最终得出归纳结论：即便用户没有明确说明，机器人也应该避开易碎物品。
“大语言模型已经阅读过互联网上来自各类人群和各种场景的海量文本，”丹勒说。“正因为经过了如此大量的训练，一部分常识性知识便被吸收进了大语言模型之中。”
第三步“屏蔽”，机器人的标准计算机视觉系统会评估其所处环境，判断哪些物体已不再存在，然后将这些物体从特征清单中删除。整个三步流程大约耗时五秒钟。
研究团队在模拟环境中测试了FLEX，让机械臂执行三项不同任务：端送咖啡、移动蜡烛以及搬运保龄球。在这三个场景中，志愿者通过输入自然语言指令与虚拟机器人进行交互，例如“别洒在我的笔记本电脑上”“远离那堆纸”以及“别把它掉在杯子上”。借助FLEX，机器人不仅字面执行了全部三条指令，还进行了更高层次的推理：避免液体溅到电子设备上、远离易燃物品，以及不将所携带的物品掉落在易碎物体上。
“每个人的家都不一样，每个人关心的事情也各不相同，因此没有一台机器人一出厂就知道什么对你来说是重要的，”博布说。“让我对FLEX感到兴奋的地方在于，它能够从一两句话中领会到这一点，而不需要你把每一条规则都详细说明——这正是人们勉强忍受的机器人和人们真正想要带回家的机器人之间的区别。”
这项工作得到了麻省理工学院生成式AI影响联盟以及麻省理工学院施瓦茨曼计算学院计算的社会与伦理责任项目的部分支持。
