Anthropic PBC一名研究员因担忧人工智能实验室正在"拿人类生命做赌注"而辞职。
雅各布·考克森（Jacob Coxon）此前一直是该公司AI预训练团队的成员，直到今天正式离职。他在X平台上发布了一系列帖子宣布辞职决定，这些帖子的浏览量已达数百万次。考克森写道，他做出这一决定的原因是对"递归式自我改进"（RSI）的担忧。这个术语指的是未来可能出现的、具备自动提升自身能力的假想AI系统。
考克森写道："这些系统很快将成为超人类级别的存在，能够攻破任何系统、一夜之间颠覆任何领域，并获取真正的权力和资源。开发AI的人们真心相信，它可能在本世纪末之前毁灭我们所有人。"
Anthropic对齐科学负责人埃文·哈宾格（Evan Hubinger）在一篇X帖子中重申了这一观点。他写道："雅各布说得没错——我们确实真心相信AI可能会导致全人类死亡！我个人认为，在未来十年内这种可能性超过10%。"
目前尚未有任何AI实验室宣布已实现可运行的RSI系统。不过，Anthropic和OpenAI Group PBC已经开始使用AI来自动化模型开发任务。今年4月，Anthropic透露，Claude在极少人工干预的情况下完成了一项AI研究实验，该项目专注于降低大语言模型带来的风险。
考克森的辞职不仅引发了哈宾格的回应，还引来了数百位行业观察人士的讨论。许多人对他提出的担忧表示警觉，也有人对此表示怀疑。一些评论者指出，考克森的辞职可能会对Anthropic即将进行的首次公开募股产生影响。AI投资人兼研究员阿齐姆·阿兹哈尔（Azeem Azhar）在推文中写道："如果Anthropic是诚实的，那么这种风险最好出现在他们的S-1文件中。这将是检验他们是否真正相信这一点的最好试金石。"
多位议员也对此事做出了回应。佛蒙特州参议员伯尼·桑德斯（Bernie Sanders）在X平台上写道："我很快将提出立法，禁止超级智能并暂停AI开发。"最近提出了旨在监管高级AI模型法案的马萨诸塞州众议员洛丽·特拉汉（Lori Trahan）表示："国会早就该结束观望，开始履行职责了。"
考克森的辞职正值AI研究领域取得多项里程碑式突破之际。
周二，OpenAI透露一款尚未发布的模型解决了数学领域最难的开放性问题之一。该算法在一组用于研究流体运动的方程中发现了一个漏洞。这组被称为纳维-斯托克斯方程（Navier-Stokes equations）的公式，在从医疗健康到汽车设计等多个领域都有应用。
上周，Anthropic利用Claude开发出了一个重要数学证明的计算机可验证版本。这项原本预计需要数年才能完成的任务，AI仅用11天就完成了。
考克森加入了越来越多对前沿模型快速发展表示担忧的AI研究者行列。周日，OpenAI首席科学家雅库布·帕乔基（Jakub Pachocki）呼吁科技行业放缓AI开发速度。今年7月，一群研究人员联合签署了一封公开信，警告自我改进型前沿模型所带来的风险。
Q&A
Q1：雅各布·考克森为什么要从Anthropic辞职？
A：他因担忧AI实验室正在"拿人类生命做赌注"而辞职，主要顾虑是递归式自我改进（RSI）技术——即未来可能出现能够自动提升自身能力的AI系统，他认为这类系统可能带来巨大风险。
Q2：什么是递归式自我改进（RSI）？
A：RSI是指一种假想的未来AI系统，具备自动改进自身能力的能力。业内担忧这类系统一旦实现，可能迅速演变成超人类级别的存在，具备攻破任何系统、颠覆各行业以及获取实际权力和资源的能力。
Q3：Anthropic的研究人员真的认为AI可能毁灭人类吗？
A：是的，Anthropic对齐科学负责人埃文·哈宾格公开表示，他个人认为AI在未来十年内导致全人类死亡的可能性超过10%，并证实这是团队内部真实存在的担忧。
