当OpenAI首席执行官萨姆·奥特曼、Anthropic首席执行官达里奥·阿莫迪、谷歌DeepMind联合创始人戴密斯·哈萨比斯以及SpaceX负责人埃隆·马斯克在上周末就放缓AI发展达成初步共识时，质疑者立刻察觉到了其中的另有所图。这些AI巨头宣称他们的目标是"把控前沿节奏"，至少部分同意了一项提议——引入第三方审计机构、监管国内实验室，并达成全球性的放缓协议。然而批评者认为，他们只是想阻止潜在的竞争者，削弱开源运动的力量，同时规避真正的法律约束——有人甚至直接称之为"垄断卡特尔"。
据业内多方消息源透露，真实情况更为复杂。阿莫迪在一篇文章中提出的三步走方案，呼应了AI安全倡导者长期以来的主张。尽管这可能成为实质性监管的替代品，但在特朗普政府治下，真正的监管本就不太可能出现。不过专家指出，在这个重要性只会不断上升的议题上，AI行业的领导者们并非最合适的引领者。
"整个行业需要新的领军人物，"纽约大学兼职教授、美国国土安全部前新兴技术政策主管尼克·里斯说道。"我们一直把达里奥·阿莫迪、萨姆·奥特曼和埃隆·马斯克这些人视为最接近问题核心、每天都在处理这些事的人，认为他们最了解情况。但事实是，我们从未对自己正在构建的东西有过一个现实的愿景。"
围绕AI的担忧已经持续升温数月，这在很大程度上是由智能体在Anthropic和OpenAI两大前沿实验室眼皮底下实施恶意黑客攻击的事件曝光所引发的。两家公司的报告加剧了这种担忧，Anthropic研究员雅各布·考克森的辞职也是如此，他曾发布公开信解释自己的选择。"从事AI开发的人真心相信，这项技术可能在这个十年结束前毁灭我们所有人，"他写道，并补充说OpenAI和Anthropic都"没有采取负责任的行动"，而是"直接冲向自我改进的超级智能，拿我们的生命做赌注"。
关于AI的严峻警告在业内并不新鲜，但考克森的信似乎突破了行业内部的讨论范畴，在X平台上的浏览量已超过1.7亿次，考克森本人和他的故事也登上了各大报纸和电视节目。
不过，对于相当一部分AI安全研究人员和AI非营利组织工作者而言，这只是让一个早已被广泛讨论的问题获得了更多关注。"很多人认为这是达里奥的主意，或者说是CEO们发起的，但这不对，"前OpenAI员工、现任AI未来项目（一家AI研究非营利组织）负责人丹尼尔·科科塔伊洛说。"公司外部的人已经呼吁这件事多年了……越来越多的声音在说，'请不要急于构建超级智能。我们还没准备好。你们需要放慢速度。'"
科科塔伊洛表示，经过多年"对他们大声呼喊"要求放缓——包括今年7月一千多名AI实验室员工联署公开信，呼吁在OpenAI-Hugging Face事件后放缓AI开发——如今这些CEO们"终于向这种压力屈服，同时还想为此邀功，但这并不理所应当"。
总的来说，多位消息源告诉The Verge，他们认为AI领导者们达成的口头协议是朝着正确方向迈出的一步。纽约大学的里斯表示他"不认为这完全是空谈"。Apollo Research首席执行官马里乌斯·霍布哈恩称这"是个好主意"，说"如果真能实现，这将是安全领域很长时间以来最好的举措之一"。Midas Project的泰勒·约翰斯顿说这是"一个好兆头"。Redwood Research首席执行官巴克·施莱格里斯表示这是"一个很好的消息——显然很难判断它是否会真正转化为实质行动，但我持谨慎乐观态度"。不过所有人都认同，要将这一口头承诺变为现实，尤其是使其成为一项有约束力的协议，还有大量工作要做。
许多人仍然质疑AI领导者们的真实动机。整个科技行业多年来一直通过游说推行自己偏好的规则或承诺自我监管，来抢在监管之前行动。大型平台曾提出可能对小型竞争者打击更重的政策，用利他主义的言辞来掩盖自利的目标。它们曾被指责搞"安全洗白"，即做一些毫无意义的改动，给人以确实采取了安全保障措施的假象。人们担心AI行业会重演这一套路并不奇怪，尤其是因为AI实验室的自愿安全框架多年来一直饱受批评。
多位消息源认为，"安全洗白"的担忧是合理的。"确实存在一种严重的担忧，就是他们实际上不会真正放缓，"科科塔伊洛说，他补充道，人们担心的是"他们只会引入一些外部审计员，做一堆安全方面的文书工作——其中一些确实是好的——但归根结底，这实际上根本不会让他们放缓多少"。
纽约大学的里斯将这种手法比作十年前社交媒体平台的套路，当时这些公司开始呼吁监管行动，以抢在即将出台的、对它们更不利的法律之前采取行动。里斯说，对于AI行业而言，"这一届政府可能不会出手，但我认为如果下次选举后是民主党政府上台，出手的可能性会相当大"。
科技监督项目执行总监萨莎·哈沃思表示，那种监管至关重要——任何自愿性框架本质上都是监管俘获，"我们不应该让狐狸来看管鸡舍。国会不能再一次把责任外包给行业"。政治诚信项目联合创始人丹尼尔·洛博-刘易斯表示，自愿监管很可能会走向Meta监督委员会那样几乎没有实际约束力的结局。
不过多数人也认为，这些公司目前并没有面临迫在眉睫的危险。特朗普总统周一在社交媒体上发文称，"AI唯一需要的'护栏'就是一位强大而聪明（高智商！）的总统，美国正好拥有这样一位总统，绰绰有余！"他还在英伟达首席执行官黄仁勋出席某会议登台演讲时给黄仁勋打了电话——特朗普通过扬声器对台下观众说，近期关于AI的担忧是一场"骗局"，"机器人不会接管一切"。
至于担心监管可能会拖累其他公司或开源开发者的问题，多位行业专家告诉The Verge，放缓的呼声几乎完全针对的是那些以精确规模指标界定的大型前沿AI实验室。
由于政府层面的AI监管不会到来，最好的选择可能是推动企业达成一项立即可行、可衡量、可执行的协议。举例来说，科科塔伊洛的AI未来项目提议AI实验室向审计人员开放其计算预算的访问权限。阿莫迪的文章已经呼吁AI实验室允许METR、Apollo和Redwood Research等外部第三方审计机构在一定程度上进驻公司内部，并有可能对存在问题的发现进行标记和揭露。科科塔伊洛表示，企业理想情况下需要在这一过程中削减自身用于研究的计算预算，从而放缓开发速度，让其他AI实验室能够赶上。
可以说，AI放缓面临的最大挑战可以用一个词来概括：中国。
AI领导者和政客们长期以来一直将中国塑造成美国AI进展不能放缓的理由——因为无论这项技术会变得多么危险，他们都宁愿它掌握在美国手中，而不是中国手中，而且中国不会放慢脚步。洛博-刘易斯将这种对中国的恐惧比作冷战时期的"导弹差距"论调。一位X用户写道："如果我要死在杀手AI手中，我希望它是美国造的，而不是中国造的。"
Redwood Research的施莱格里斯表示，以"鲁莽"的方式推进AI开发，无论对美国政府还是中国政府而言都不是最有利的选择，他补充说"这不会是国际协调史上前所未有的水平"。
"人们想当然地认为中国不会合作，"约翰斯顿说，并补充道，"这个问题如此严重、如此普遍，看起来协调合作是所有人的共同利益，就像当年美国和俄罗斯在核不扩散问题上协调合作符合双方利益一样。"
周一，中国外交部发言人郭嘉昆对放缓的呼声予以回应，称其为"制造恐慌"。
Midas Project的约翰斯顿和Redwood Research的施莱格里斯都表示，即便没有中国的合作，推动美国内部的协调依然至关重要。而在科技监督项目的哈沃思看来，这次放缓提供了一个机会，让美国"将自己定位为AI技术如何被开发和使用的指南针"。她认为反对的论调是一种熟悉的套路。"每当一个行业想要逃避监管时，中国就会被当作吓唬人的借口拿出来。"
科科塔伊洛则用他看过的一幅漫画来比喻这种情形：车里的人正驶向悬崖，他回忆漫画中的对话框写着诸如"太好了，我们领先中国了"之类的话。
眼下这一切恐慌背后的根本问题，是一个被称为"递归式自我改进"（RSI）的里程碑，而根据行业目前的发展轨迹，这仅仅是警钟刚刚敲响的开始。
RSI指的是一个假设性的临界点，在这个点上AI模型可以在没有人类参与的情况下训练、提升并创造出自身的新版本。Anthropic表示这一临界点最早可能在2027年初到来，OpenAI首席科学家本月早些时候也曾写道，OpenAI正投入大量资源来实现这一里程碑。AI行业内越来越多的工程师和研究人员担心，RSI的出现将带来一系列新的、更严重的AI隐患，其中包括更严重的网络安全事件，将对整个社会造成更深远的影响。
阿莫迪将RSI列为促使他呼吁放缓的重要因素之一："大约从今年夏天开始，AI的进步速度急剧加快"，而RSI"正开始在整个行业中发生，包括在Anthropic内部……如果不加以控制，它可能会超出我们理解和控制这些系统的能力，因此必须非常谨慎地推进，如果还要推进的话，"他在最近的文章中写道。他提议对RSI的发展速度实施某种"速度限制"，并将其比作对导弹数量的限制。
雅各布·考克森从Anthropic辞职时发布的文章中，警告了"能够攻破任何系统、在一夜之间彻底改变任何领域、并获取真正权力和资源的超人类系统"。许多其他领先AI实验室的研究人员也呼应了他的担忧。OpenAI研究员贾斯敏·王写道，加速冲向RSI"危险程度难以言表"。前谷歌DeepMind员工维沙尔·梅尼表示，RSI"现在已经如此迫在眉睫，以至于别无选择"。
对RSI的担忧很容易演变为末日式的恐慌。Anthropic研究员塞缪尔·马克斯在X上写道："AI开发者相信他们的技术可能导致人类灭绝（或类似的糟糕后果）。这可能在未来几年内发生。总体而言，职位越高级的员工，担忧程度越深。"另一位Anthropic研究员兼团队负责人埃文·哈宾格在X上写道："雅各布说得没错——我们确实真心相信AI可能杀死所有人类！"（他将未来十年内发生这种情况的概率估计为超过10%。）前谷歌DeepMind员工亚历克斯·特纳写道："许多研究人员相信他们正在构建的东西可能杀死这个星球上的每一个人。思考如何阻止这一切，曾是我的日常工作。"
OpenAI研究员米卡·卡罗尔写道，考克森的看法是一种"跨立场共识"，所有"前沿AI公司"的研究团队都持有这种观点，他们都相信"照常进行的AI开发会带来不可接受的灾难性风险"。
"但是，"卡罗尔补充道，"我们也不应该将灾难性风险的臆想变成现实——通过具有实际约束力的安全要求、国际协调，以及在没有足够安全性进展让我们集体感到有信心之前不构建人工超级智能的共识，可以大大降低这些风险。"
而这种"国际协调"正是AI领导者们以及广大公众如今所呼吁的东西。
"我们从未真正理解过在AI方面我们究竟要驶向何方，"纽约大学的里斯说。"我们一直有一个模糊不清、未曾定义的终点状态，我们并不真正理解它，但却必须为了击败中国而奔向它。当我们甚至不理解这条路径、甚至不知道终点线在哪里——或者是否真的存在终点线——的时候，这场竞赛真的很难继续下去。"
Q&A
Q1：什么是递归式自我改进（RSI）？为什么它令人担忧？
A：RSI指AI模型能够在没有人类参与的情况下自行训练、提升并创造新版本的假设性临界点。Anthropic预计这一点最早可能在2027年初到来。业内担忧RSI一旦出现将超出人类理解和控制能力，可能带来更严重的网络安全事件等灾难性风险。
Q2：AI巨头们提出的放缓开发方案具体包括什么内容？
A：该方案由Anthropic首席执行官达里奥·阿莫迪提出，核心是三步走：引入第三方审计机构（如METR、Apollo、Redwood Research）进驻实验室内部监督、对国内实验室加强监管，以及推动达成全球性放缓协议，目标是"把控前沿节奏"。
Q3：为什么有人质疑这次AI放缓协议只是"安全洗白"？
A：批评者认为，科技行业过去常通过自我监管或推动有利于自己的规则来抢在真正监管之前行动，此前也曾被指控做表面文章制造安全假象。部分专家担心这次AI企业可能只是引入审计员、做安全文书工作，但实际上并不会真正放缓开发速度。
