自动驾驶汽车通常由深度学习模型控制，但这些模型有时会在意外情况下失效。例如，车辆可能会莫名其妙地刹车，从而挡住迎面而来的紧急车辆的路径。此时人类驾驶员或乘客可能需要迅速做出反应，以避免碰撞发生。
为帮助人类更好地预测车辆可能出现的失误，麻省理工学院与自动驾驶技术公司Motional的研究人员开发了一种新方法，该方法能够清晰解释底层模型的决策过程。
通常，深度学习模型的内部推理过程是不透明且难以理解的。但这种被称为“概念包装网络”（Concept-Wrapper Network，简称CW-Net）的新方法，能够将推理过程转化为可以真实描述自动驾驶车辆决策的概念，同时不会改变其驾驶性能。
CW-Net使用诸如“正在接近停靠车辆”或“靠近骑行者”等可理解的概念，来解释基于机器学习的规划器所做出的决策。这些解释可以纠正驾驶员和乘客对车辆行为的误解，并提升他们的态势感知能力。
在一条私人测试道路上进行的实地测试中，CW-Net的解释帮助安全驾驶员更准确地预测车辆行为；一项针对非专业用户的更大规模模拟研究也得出了类似结果。这些实验表明，CW-Net可以在工程师排查车载人工智能系统故障时提供重要反馈。从长远来看，这项技术有望提升自动驾驶汽车的安全性与透明度，同时在驾驶员与乘客中建立起恰当的信任。
麻省理工学院航空航天学教授、计算机科学与人工智能实验室（CSAIL）交互式机器人小组主任、论文共同资深作者朱莉·沙阿表示：“这项研究表明，解释如何支持人类对系统行为的心智模型和理解，以及它如何被用于工程与开发中来改进技术。除非我们以一种可以信赖并预测其行为的方式来构建这些技术，否则它们的应用基础将是不稳固且不安全的。”
与她共同完成这篇论文的还有第一作者埃因·肯尼（曾任麻省理工学院博士后研究员，现为摩根大通高级AI研究员）；共同资深作者莫姆奇尔·托莫夫（Motional公司资深研究科学家）；以及Motional团队成员阿克沙伊·达尔玛瓦拉姆、桑·乌克·李、董·潘-明、施雷亚斯·拉杰什、胡云青，以及Motional公司总裁兼首席执行官劳拉·梅杰。该研究今日发表于《自然》期刊。
忠实的解释
基于机器学习的规划器充当着自动驾驶汽车的“大脑”。这些强大的深度学习架构处理来自车辆摄像头和激光雷达传感器的数据，生成车辆周围环境的高层次摘要，决定车辆接下来应该做什么，并输出其应遵循的行驶轨迹。
这些规划器通常是黑箱模型，这意味着其内部决策过程极其复杂，难以理解。这可能使科学家和安全驾驶员对自动驾驶汽车做出意外决策（如幻影刹车）的原因一无所知。
研究人员设计CW-Net，旨在使用可理解的概念解释车辆的决策，同时确保这些解释能准确反映其行为背后的真实原因。
肯尼表示：“尤其是在自动驾驶汽车这类高风险场景中，确保解释不具有潜在误导性至关重要。由于CW-Net在决策方式上具有因果忠实性，这为解释的可靠性提供了一定保障。”
CW-Net是一种“概念分类器”，即经过训练能够预测输入数据中所包含高层次概念的AI算法。研究人员将CW-Net模块嵌入到自动驾驶汽车现有的机器学习规划器架构中间。
它将模型的内部推理过程转化为诸如“正在接近停靠车辆”或“靠近骑行者”等可理解的概念，然后强制规划模型架构的最后一部分在决定车辆下一步行动时使用这些概念。通过这种方式，CW-Net确保这些概念能够忠实地解释车辆的行为。
与此同时，CW-Net利用其分类出的概念生成清晰的解释，并与车辆轨迹一起实时输出。
肯尼说：“与其只是疑惑车辆为什么停下来，不如获得实时数据反馈，这样可以在部署过程中测试系统。你也可以把这些数据提供给工程师，帮助他们改进系统。”
研究人员使用一个包含1.3亿个自动驾驶汽车场景示例的数据集来训练CW-Net预测概念，每个场景都标注了多个概念。使用如此庞大且带标签的数据集，使其能够在各种各样的场景中准确识别概念。
他们还设计CW-Net来模仿基于机器学习的规划器的驾驶决策，以确保该模块不会对车辆性能产生负面影响。
最终，CW-Net能够生成准确、易于理解的解释，而不会改变原始深度学习模型本身。
提升态势感知能力
为了测试CW-Net，研究人员将该模块部署在一辆真实的自动驾驶测试车辆（Motional的一辆机器人出租车）上，并在一条私人测试道路上配备了安全驾驶员。他们发现，在出乎意料的情况下，CW-Net帮助安全驾驶员更好地预测了车辆的行为。
例如，车辆在接近一名骑行者时总是会停下来，安全驾驶员原本认为这是因为车辆检测到了那名骑行者。但CW-Net的解释揭示，模型实际上并未被正确配置以检测该骑行者，并且原本选择的行驶轨迹会导致碰撞。车辆之所以停下，是因为在距离过近时触发了紧急制动程序。
掌握了关于模型这一错误的信息后，安全驾驶员就可以在类似情况下更早地减速或切换到手动驾驶模式。这也有助于工程师修复模型，避免未来再次出现这种失误。
在使用拉斯维加斯道路上真实驾驶场景所进行的更大规模在线模拟研究中，研究人员观察到了类似的结果。CW-Net的解释显著提高了参与者预测自动驾驶车辆行为的能力。
未来，研究人员计划进一步扩展CW-Net，使该模块能够涵盖更多概念，并探索不同的训练与设计技术，以提升性能并改善可解释性。
肯尼表示：“我们的研究表明，可解释性对于这些高风险环境有多么关键，人们在未来开发人工智能时应当牢记这一点，无论是用于自动驾驶汽车还是其他安全攸关的场景。”
Q&A
Q1：CW-Net是什么？它能解决什么问题？
A：CW-Net是麻省理工学院与Motional公司开发的一种解释系统，能够将自动驾驶车辆规划模型的内部决策过程，转化为“接近停靠车辆”“靠近骑行者”等可理解的概念，帮助人类预测并理解车辆的行为，尤其是在出现意外决策时。
Q2：CW-Net会不会影响自动驾驶汽车原本的驾驶性能？
A：不会。研究人员设计CW-Net时特意让其模仿原有机器学习规划器的驾驶决策，因此该模块在生成解释的同时，不会改变或降低自动驾驶汽车的原始驾驶性能。
Q3：CW-Net已经在真实车辆上测试过吗？效果如何？
A：是的，研究人员已经在Motional的机器人出租车上进行了实地道路测试，结果显示CW-Net的解释帮助安全驾驶员更准确地预测了车辆行为，例如揭示了车辆因紧急制动而非正确检测骑行者才停车的真实原因。
