在紧急情况下，人类可能会让机器人助手去走廊尽头取挂在墙上的除颤器。但如果机器人在存储记忆中错误地将除颤器标记为灭火器，它可能就找不到这个能救命的设备了。
这种机器人助手可以从MIT研究人员创建的新型记忆系统中受益。该系统能够识别机器人记忆中可能存在错误的条目，并纠正被错误标记物体的描述。
未来，这种方法可以让家用或工业机器人更好地执行复杂的多步骤任务，比如清理餐桌，或与人类协作者一起组装机械设备。
该系统名为UQ-DAAAM（即“随时随地描述任何物体的不确定性量化”），它通过比较从不同视角观察同一物体所得到的多个描述，来量化机器人对所见内容的不确定程度。
然后，系统会选择额外的视角以降低不确定性，并将这些描述融合成更准确的物体描述，保存到记忆中。
研究人员还采用了一种特殊技术来简化这一流程，使移动机器人能够实时持续更新不确定的记忆条目。
与基线方法相比，UQ-DAAAM提升了机器人的置信度，并提高了它对物体、物体位置以及观察时间等问题回答的准确性。
“与ChatGPT不同，当我们考虑物理AI时，仅仅加上一句免责声明提醒用户机器人有时可能出错是不够的。让机器人知道自己不知道什么，对于这项技术能够安全部署并对社会产生积极影响至关重要，”MIT航空航天系（AeroAstro）副教授、信息与决策系统实验室（LIDS）首席研究员、MIT SPARK实验室主任、UQ-DAAAM论文通讯作者卢卡·卡尔洛内（Luca Carlone）说道。
与他共同撰写该论文的还有共同第一作者、MIT研究生哈利·张（Harry Zhang）和尼古拉斯·戈尔洛（Nicolas Gorlo）。该研究将在神经信息处理系统大会上发布。
修正记忆
这一新方法建立在研究人员此前工作DAAAM的基础之上，DAAAM是一种机器人记忆系统，利用视觉语言模型（VLM）对机器人通过车载摄像头捕捉到的场景中的物体进行丰富描述。这些描述以详细的说明文字形式存储在基于3D地图的环境表征中，机器人之后可以调用这些信息来回答问题。
但机器人有时只能部分地或从远处看到物体，或者其摄像头可能拍摄到模糊或光线不佳的图像。在这些情况下，DAAAM可能会错误地描述这些物体，比如将灰色烟囱误认为停在屋顶上的松鼠。
“由于没有自我纠正的方式，这种错误的记忆会在机器人在环境中移动时持续存在，这可能会影响下游应用，”张说道。
UQ-DAAAM将不确定性量化整合到了DAAAM框架中。它使机器人能够测量自己对物体描述准确性的置信度，并在穿越环境的过程中修正不正确的描述文字。
在移动过程中，机器人不断收集并存储周围世界的图像。这些图像中有许多展示了从不同角度捕捉到的同一物体。UQ-DAAAM利用这些额外的视角来识别并纠正不可靠的描述。
首先，它会计算VLM针对可能被错误标记的物体所生成描述文字的置信水平。然后，它通过将这一描述与从不同视角描述同一物体的图像说明进行比较，来衡量一致性。
“我们将这两种不确定性来源融合成一个单一数值，这个数值反映了VLM对物体整体理解的确定程度，”卡尔洛内解释道。
如果这个数值超过某个阈值，说明不确定性过高，UQ-DAAAM就会利用该物体的额外图像来优化描述文字。
它使用一种启发式方法，即一种简单规则，来确定哪些额外视角能够降低机器人对该物体的不确定性。例如，它可能会选择几帧之后捕捉到的、清晰显示烟囱冒烟的图像。
研究人员通过数学证明表明，这种启发式方法能够识别出最佳帧，而不需要重新运行VLM，从而大幅减少计算量。
“尼科和哈利需要克服的关键挑战是，如何将VLM与不确定性量化结合起来，使其能够在移动中的机器人上以几分之一秒的时间运行，”卡尔洛内说道。
有信心地记忆
一旦系统识别出能够降低其对物体不确定性的额外描述文字，它就会使用大语言模型将这些描述融合成一个单一的物体描述。为了提高准确性，大语言模型会对新的描述文字和歧义较少的描述文字赋予更高的权重。
这一优化步骤能够解决机器人环境中约92%物体的歧义问题，而每个物体仅需要额外的两条描述文字。与现有最先进方法相比，它将物体描述的准确性提高了5%。
与基线方法相比，UQ-DAAAM在回答有关它所观察到物体、物体位置以及它上次遇到该物体时间的问题时，也提供了更准确的答案。
“在机器人生成的整个地图范围内执行这种不确定性量化流程，能够让它提升对所观察内容的理解，”戈尔洛说道。
接下来，研究人员希望将UQ-DAAAM应用于指导不同类型的机器人，比如移动机器人操纵器，并将他们的不确定性量化技术应用于其他领域。
此外，他们正在研究使用UQ-DAAAM来识别机器人可以重新访问以提升环境理解的高不确定性区域。他们还在探索在预测机器人环境未来状态的系统中应用不确定性量化。
这项研究部分得到了美国陆军研究实验室和美国海军研究办公室的支持。卡尔洛内目前正以亚马逊学者身份休学术假；本文描述的工作是在MIT完成的，与亚马逊无关。
