一位Anthropic的资深安全研究人员表示，到本世纪末，人工智能"可能杀死所有人类"的概率超过10%。这番言论发布之际，恰逢一位同事因担忧该AI实验室及其竞争对手在毫无谨慎的情况下竞相开发无法控制的"超人类系统"而辞职。
在社交平台X上发布的离职声明中，曾为Anthropic训练AI系统的研究员Jacob Coxon表示，他因公司对安全问题的松懈态度而辞职。Coxon此前曾为OpenAI训练系统，他指责这两家AI公司"径直冲向自我改进的超级智能，拿我们的生命做赌注"，尽管"从事AI开发的人们真诚地相信，到本世纪末它可能杀死我们所有人"。
业内人士长期以来对自我改进型AI系统的潜在危险表示担忧，他们警告称，这类系统可能陷入一种被称为"递归自我改进"的失控循环，脱离人类的掌控。尽管这一目标尚未实现，但各公司正积极追求这一方向，如今大量AI代码的编写都借助了AI的帮助。
针对此事，负责Anthropic某个AI安全团队的Evan Hubinger直接回应称，他对自我改进型AI感到担忧，并表示这种情况"发展速度比我们预想的更快"。他也认同Coxon的说法："我们确实真诚地相信AI可能杀死所有人类。"他个人估计，在"未来十年内"这种可能性超过十分之一。
尽管如此，Hubinger表示，Anthropic"目前还没有计划"来确保先进AI保持安全并与人类价值观保持一致，公司"也并未明显走在制定此类计划的正轨上"。Coxon则表示，各公司"被锁定在一场竞赛中"，都想率先开发出先进系统，因此"不顾风险"地推进研发。
Coxon的离职是Anthropic员工离职事件中最引人关注的案例之一。Anthropic这家公司正是由曾因担忧OpenAI安全问题而离开的前OpenAI成员创立的。近年来，多位研究人员都曾表示，安全方面的担忧是他们离开OpenAI的原因。
这场公开交流反映出业界对日益复杂的AI模型及其开发速度所带来的危险的担忧正在加剧，尤其是在这些公司为预期的首次公开募股做准备之际。此外，这些公司目前还在应对多起失控智能体事件，以及关于前沿模型可监控性的高调安全警告所带来的后续影响。
Q&A
Q1：Anthropic研究人员认为AI杀死所有人类的概率有多大？
A：一位Anthropic资深安全研究人员表示，到本世纪末，AI"可能杀死所有人类"的概率超过10%，且这种可能性预计在未来十年内会达到这个水平。
Q2：Jacob Coxon为什么辞职离开Anthropic？
A：Jacob Coxon因公司对安全问题的松懈态度而辞职，他指责Anthropic和OpenAI在竞相开发自我改进的超级智能系统，明知存在巨大风险却仍拿人类生命做赌注继续推进。
Q3：Anthropic目前有没有应对AI安全风险的计划？
A：据Anthropic安全团队负责人Evan Hubinger透露，公司目前"还没有计划"来确保先进AI系统保持安全并与人类价值观一致，也没有明显走在制定此类计划的正轨上。
