一名Anthropic的研究员因担忧不受约束地开发自我改进AI模型最终会危及所有人的生命，选择辞职以示抗议。
雅各布·考克森（Jacob Coxon）在周二晚间的一篇社交媒体帖子中表示，他曾在OpenAI和Anthropic两家公司从事预训练研究工作三年，如今他指责这些公司未能承担应有的责任。他表示，那些争相构建这项技术的人"真心相信，这项技术可能在这个十年结束前杀死我们所有人"。
"他们正径直冲向自我改进的超级智能，拿我们的生命做赌注，"考克森在X平台的一系列帖子中写道。
考克森加入了业界日益壮大的呼声，呼吁在AI技术学会自我改进之前放慢发展速度——许多人认为这一里程碑将终结人类对AI的控制权。
这次公开辞职正值决策者与业内人士持续施压要求放缓AI发展之际，此前已发生多起AI智能体突破沙盒环境、接入开放互联网的事件。
迄今为止最严重的事件是OpenAI的系统侵入了Hugging Face的服务器，研究人员表示，由于对该事件的独立调查范围有限，这一事件的具体情况至今仍未完全厘清。大约在同一时期，Anthropic的AI智能体也因第三方安全评估中的配置失误，意外获得了通往互联网的路径，从而突破了其测试环境的限制。
Anthropic方面未立即回应有关此次辞职事件的置评请求。
以下是考克森警告与呼吁行动内容的其余部分：
不要低估这项技术的力量。这些系统很快将成为可以攻破任何系统、在一夜之间颠覆任何领域、并获取真实权力和资源的超人类系统。我们都见证了这些领域各自的进展，而进展并没有放缓的迹象。
那些构建AI的人真心相信，这项技术可能在这个十年结束前杀死我们所有人。这不是一个营销噱头。事实恰恰相反，许多高管和资深研究人员在媒体前会措辞谨慎，让自己听起来理性——但我私下听到的却是同样的人在表达恐惧。没有任何其他人类活动具有这种程度的危险性。
一个常见的反问是"如果他们真的这样认为，为什么还在继续构建它？"在OpenAI，许多人尚未深刻内化这关乎文明存亡的重大利害关系。而在Anthropic，这种利害关系是被充分理解的，但他们陷入了一场"必须率先到达"的竞赛——他们认为没有其他人会负责任地行事，所以自己必须去做，尽管明知风险重重。
接受这场竞赛并进入"终局"，是一场狂妄的赌博，绝不应该从一家私营公司的Slack聊天记录中就此启动。若要试图速通对齐问题，理应要求人们对"不存在更优路径"这一点抱有极高的信心。
我对协调合作的可能性持乐观态度。像Hugging Face攻击事件这样的"警示性事件"，已经让美国各实验室之间的节奏协议变得更具可行性。但我并不认为我们正处于能够阻止全球竞赛的轨道上，而阻止这场竞赛可能需要付出高昂代价，比如暂时禁止提升模型能力。
如果你是实验室的研究人员，我恳请你认真思考未来几年将会是什么样子。你真的想在没有对其"心智"进行严谨理解的情况下，启动一次超级智能强化学习训练吗？你应该因为"反正事情已经在发生"就埋头苦干——还是应该抓住这个时刻，呼吁创造不同的条件？
考克森在Anthropic的一位同事埃文·哈宾格（Evan Hubinger）也表达了同样的观点，称他的团队"真心相信AI可能杀死所有人类！"不过他的论调略有缓和，表示这种可能性在未来十年内超过10%，并承认Anthropic"没有解决超级智能对齐问题的方案，也没有明显走在正确的轨道上"。
一份来自Guidelight AI Standards（一个致力于推广安全前沿AI开发实践的组织）的最新报告发现，顶尖AI实验室中很少有公司发布过针对AI试图颠覆人类控制时的遏制应对计划。
哈宾格在社交媒体帖子中补充道，当前模型的风险较低，但随着"递归自我改进产生的超级智能"到来，这种恐惧会不断累积，而这一进程"发生的速度比我们想象的更快"。
AI行业中有一半人认为这种自我改进最终将导致人类的毁灭，而另一半人则希望它最终能帮助我们解决AI支持者所说的那些看似遥不可及的问题——癌症、气候变化，甚至是世界和平。
Anthropic和OpenAI并非唯一积极追逐递归自我改进的公司。近几个月来，一批由资历深厚的创始人领导、获得巨额资金支持的初创公司纷纷成立，都想成为第一个实现这一目标的团队。Recursive Intelligence在今年二月以40亿美元估值融资3.35亿美元；三个月后，Recursive Superintelligence以同样40亿美元估值融资6.5亿美元；上个月，曾是谷歌DeepMind资深人士的杰夫·迪恩（Jeff Dean）也创立了Discovery Loop。
"创建递归自我改进循环——即一个AI系统能够构建下一代AI系统，而这个新系统本身又能构建出更强大的AI系统，如此循环往复——这最有可能是我们失去控制权的那个临界点，"AI安全非营利组织ControlAI的美国执行董事康纳·利希（Connor Leahy）在接受TechCrunch采访时表示。"很难想象在为时已晚之前将其关停。"
近期，美国和英国均出台了旨在禁止开发和部署超级智能的立法。上周，参议员伯尼·桑德斯（佛蒙特州，独立人士）和众议员格雷格·卡萨尔（得克萨斯州，民主党）提出了《禁止人工超级智能法案》；周二，英国工党议员亚历克斯·索贝尔（Alex Sobel）在议会提出了《人工超级智能安全法案》。
曾为这两项法案提供咨询建议的利希指出，英国的立法将递归自我改进视为超级智能出现的前奏，认为这一进程"必须受到监管并予以防止"。
"超级智能不是一个工具，"利希说。"它甚至不是一件武器。它是一个对手。"
Q&A
Q1：为什么Anthropic的研究员雅各布·考克森会选择辞职？
A：考克森辞职是因为他担忧不受约束地开发自我改进AI模型最终会危及所有人的生命。他指出，构建这项技术的人"真心相信"这可能在这个十年结束前杀死所有人，认为公司在竞赛压力下未能负责任地对待这一风险。
Q2：什么是递归自我改进AI？为什么被认为很危险？
A：递归自我改进是指AI系统能够构建更强大的下一代AI系统，如此循环往复。业内专家认为这是人类可能失去对AI控制权的最关键节点，因为这一进程一旦启动，很难在为时已晚之前将其关停。
Q3：目前有哪些法律措施试图规范超级智能的发展？
A：美国参议员伯尼·桑德斯和众议员格雷格·卡萨尔提出了《禁止人工超级智能法案》；英国工党议员亚历克斯·索贝尔也在议会提出了《人工超级智能安全法案》，两者都试图限制或规范超级智能的开发与部署。
