当在高风险场景中部署深度学习模型时,研究人员希望理解它们的工作原理。如今,这需要解开一个极其复杂的内部处理节点网络,才能了解模型知道什么,以及它在实践中可能会有怎样的表现。

雅各布·安德烈亚斯(Jacob Andreas)则希望让模型自己解释自己。

这位刚获得终身教职的副教授致力于开发技术,使人工智能模型能够用人类可以理解的语言,准确地表达它们从训练数据中学到的内容。

“与其需要使用所有这些外部工具来试图理解幕后发生了什么,也许我们可以训练模型以一种准确的方式谈论自己,”安德烈亚斯说道,他是电气工程与计算机科学系(EECS)的副教授,也是计算机科学与人工智能实验室(CSAIL)的成员。

通过研究机器如何理解语言,安德烈亚斯和他的团队致力于构建能够从人类指导中学习世界知识,并与人类协作者进行有效沟通的智能系统。他们开发的方法旨在使训练过程更加自然高效,从而让AI模型以更接近人类学习的方式进行学习。

“我试图让学生们明白,真正深入理解这些技术背后的运作原理,是他们理解这一切的唯一途径,也是在一个人人都能使用编程智能体的世界里,让他们脱颖而出的关键,”安德烈亚斯说。

归根结底,他和团队希望帮助人们设计出更准确、更稳健的深度学习模型,使其更适合预期的应用场景。

“过去我们调试系统的方法,是查看其参数并判断是否合理。而现在,我们需要‘读心工具’,将这种极其复杂的神经计算转化为我们能理解的东西,因为它根本不是我们人类所知道的语言,”他说。

对语言的热爱

安德烈亚斯对语言的痴迷在很小的时候就已萌芽。作为在旧金山湾区长大的孩子,他是个如饥似渴的阅读者,什么书都读。

其中一本由家庭朋友转赠给他的书中,有一个关键情节:主人公通过入侵计算机系统来拯救危局。

这激发了他对计算机的兴趣。几年后,他的父亲带回家一台简单的BASIC编程机,安德烈亚斯可以在家用电脑上运行它,从此他开始沉浸在计算机编程的世界中。

在哥伦比亚大学读本科时,安德烈亚斯选择了计算机科学专业,但当时他并不确定自己想从事研究、软件工程,还是创业。

他的朋友们都报名参加了教授实验室的研究项目,于是安德烈亚斯想,自己也该试试。

“我几乎给计算机科学系所有做任何与AI沾边研究的老师都群发了邮件,结果自然语言处理方向的教授最先回复了我。这就是我进入目前这个领域的原因,”他说。

在哥伦比亚大学计算机科学维克拉姆·潘迪特讲席教授迈克尔·柯林斯(Michael Collins)的实验室工作期间,安德烈亚斯完成了一篇关于机器翻译的本科毕业论文。他的项目涉及将现有的、用于表示语言含义的统计技术,适配到更强大的AI系统中,以翻译整段文本。

“我总觉得,关于思维运作方式或世界建模的这些更深层次的问题,在语言处理问题中比在当时AI研究者从事的其他任务中更接近表面,”他回忆道。

一次剧变

他想继续探索这些深层次的问题,于是安德烈亚斯进入加州大学伯克利分校读研究生,立志成为一名学术研究者。

在开始博士学业之前,他在英国剑桥大学花了一年时间攻读硕士学位。在那个历史悠久的环境中,他在处理计算翻译问题的同时,受到启发去思考语言学习的本质。

这些学习经历在他加入伯克利分校计算机科学教授丹·克莱因(Dan Klein)的实验室后,为他的研究注入了动力。

安德烈亚斯开始他的研究时,正值神经网络开始崭露头角之际。自然语言处理领域正经历一场从统计方法向深度学习这个新世界的剧烈转变。

统计方法利用透明的数学公式来分析文本,而深度学习技术则使用不透明的算法,从海量文本数据中自动学习复杂的含义。

“能在我们转向现代工具包的过程中亲身经历,并在这些东西还很新颖时学习和发明它们,是件很有趣的事,”安德烈亚斯说。

他开始与计算机视觉实验室的科学家们合作,攻克关于语言学习的日益复杂的问题。他们共同设计了AI系统,通过教这些系统“看”并理解周围的世界,使其在生成自然语言方面表现出色。

“这一切都非常令人兴奋,因为此前确实没有一套通用的工具可以同时处理语言和视觉数据。然后,突然之间,神经网络给了我们这种共同的语言,”他回忆道。

他完成了一篇关于神经模块网络使用的毕业论文,这些模块是神经网络中的小片段,在一个更大的AI系统中执行特定任务,比如定位物体或逻辑推理。但正是他在论文之外涉猎的那些更具探索性的项目——比如可解释性研究,以及为AI模型的内部状态生成自然语言描述——塑造了他在麻省理工学院团队的研究方向。

教职生涯

在初创公司Semantic Machines(从他在伯克利的实验室孵化而来)工作一年后,安德烈亚斯于2019年加入麻省理工学院教职团队。

“这感觉像是一个绝佳的机会,能够身处AI研究的大本营,与所有这些了不起的、功成名就的人物合作,同时也能做一些新的事情,去探索现代机器学习时代将会是什么样子,”他说。

他的团队专注于两个主要方向。首先,他们正在研究大语言模型的科学原理,以理解这些模型在学习和处理信息时所采用的算法。

他们开发的工具有助于科学家和研究人员更好地预测训练完成的模型在现实世界中的表现。例如,他们开发的一类技术可以训练大语言模型,用人类能够理解的语言,解释其他神经网络内部正在发生的事情。

这些技术可以为庞大神经网络中的每一个信息处理节点赋予自然语言描述。例如,这样一个描述可能代表一个识别输入图像中“动物附近草地”的单独节点。

“这项工作成为我们探讨这些模型如何表示含义等一系列更高层次问题的跳板,”他说。

另一方面,他的团队设计新的算法来训练机器学习模型,并预测特定数据集或样本将如何影响模型行为的不同方面。

“我们目前还没有一个好的科学理论,能够预测当你用某个特定数据集训练一个模型时会发生什么。这是该领域目前面临的一大挑战,”他说。

变化中的环境

AI发展的速度是他的实验室面临的最大挑战之一。安德烈亚斯说,这个领域似乎每三到五年就会发生彻底的变化,迫使他必须保持敏捷,随时准备学习新事物。

同样的困境也延续到了他与同事共同讲授的6.461和6.861课程(本科生和研究生自然语言处理课程)中。他和其他授课教师每年都必须重新设计课程内容,以跟上最新的发展。

在这样一个任何作业都可能由大语言模型而非人类学生完成的时代,教授机器学习的技术细节也变得充满挑战。

“我试图让学生们明白,真正深入理解这些技术背后的运作原理,是他们理解这一切的唯一途径,也是在一个人人都能使用编程智能体的世界里,让他们脱颖而出的关键,”他说。

由于变化如此之大,很难预测这个领域接下来会走向何方,安德烈亚斯说。他预见,他的团队在可解释性方面的工作,将对于让AI智能体等先进系统足够安全地部署到高风险场景中变得愈发重要。

这一点在研究人员设计能够助力科学发现的深度学习模型时将尤为明显。这些模型将在来自研究实验室的大量原始数据上进行训练,而这些数据可能目前科学家们尚未完全理解。

“弄清楚如何让这些模型把它们所拥有的、人们从未明确书写过的隐藏知识用语言表达出来,将是从事机器学习工作的人们面临的巨大挑战和机遇,”他说。

除了在实验室里应对挑战,安德烈亚斯还喜欢挑战自我,进行徒步和背包旅行。自加州童年时代起,他就热爱在户外度过时光,每年夏天至少会进行一到两次背包旅行。

他和数学系的一位同事正在努力征服新罕布什尔州白山山脉中所有海拔4000英尺以上的山峰,进展虽慢但稳步推进。

如今获得了终身教职,安德烈亚斯期待着重拾一项旧爱好——在室内合唱团中唱歌。他一直热爱音乐,在剑桥大学求学期间,他深深迷上了礼拜堂唱诗班和敲钟活动。

MIT News