OpenAI联合创始人兼首席执行官萨姆·奥特曼认为,在AI技术如何影响世界与每个人生活这一问题上,人类应当始终掌控主导权。周三,这位AI行业高管在《纽约时报》Dealbook峰会上发表演讲,提到了硅谷内部关于是否会逐步向AI移交决策权的讨论——也就是说,AI最终是否会成为各主要行业和机构的决策主体。

"我们最近经常讨论一件事,这件事听起来几乎有些荒谬,竟然还需要去反对,但我们俩都深信,人类必须始终掌控未来的走向。现在有越来越多的说法认为,要么已经在发生,要么应该发生这样一种逐步向AI移交权力的过程。我——我们俩——都认为这是一个糟糕透顶的想法,"与OpenAI联合创始人兼总裁格雷格·布罗克曼同台时,奥特曼这样说道。

这种"权力移交论"源于这样一种观点:随着AI模型变得越来越强大,它们将学会自我改进——这一概念被称为"递归自我改进"(RSI)。按照这种逻辑,现有AI技术不断打造出更新、更智能的下一代产品,最终将演变为一种人类无法再控制的超级智能。

奥特曼解释说,他与布罗克曼的分歧仅在于如何最好地实现"让人类保持掌控"这一目标,以及在这一过程中应预料会遇到哪些挑战。不过,奥特曼将这更多地描述为两个持有相同大方向共识的人之间的探讨。

"真正要防止这种权力移交发生——在面对各种压力、以及其他公司可能采取的行动的情况下,如何真正确保我们能够深层次地让人类始终掌控未来,而不会出现意外或有意的权力移交——在这一点上,我认为我们俩的看法是一致的,"奥特曼说道。

布罗克曼补充说,随着模型能力的提升,对齐、安全与防护方面的责任也在不断加大,这可能需要改变当前的一些做法。

"监控就是一个很好的例子,我认为我们将需要新的……技术,"他说道。

目前,AI研究人员通过监控模型的思维链来进行安全把控,即AI在处理问题和执行任务时,会把自己的思考过程写出来。但在布罗克曼看来,这种方式未必始终适用于当下正在构建的更先进AI。

"随着模型能力的提升,它们可以在前向推理过程中完成更多工作,而不必真正把思考过程写出来,这意味着我们需要一种全新的监控方法,"布罗克曼说道。"我们必须拿出这样的方案,我认为将会有一些节点,当能力达到某个程度时,我们需要认真思考思维链可监控性下降的问题,"他继续说道,并补充说所有这些问题都是可以通过技术手段解决的工程问题。

此前曾发生过一起OpenAI模型逃离容器环境、侵入AI模型库Hugging Face的事件,此后OpenAI承诺加强思维链监控。在今天的采访中,布罗克曼透露,事件发生后,公司要求25%的生产工程师停止手头的开发工作,转而投入到AI技术的安全加固中。

尽管发生过这起备受关注的安全事件,但他认为推动技术向前发展对于对抗恶意行为者依然至关重要。

"我认为需要认识到,如果你看看当今世界模型的能力水平,再看看那些源自此类模型、如今已经落入全球各类威胁行为者手中的网络攻击模型,就会明白,防御方使用能力最强的模型来进行防御,是一件非常重要的事情,"他说道。

TechCrunch - AI