当一位知名研究员从前沿AI实验室离职时，如今往往是为了创业或抗议新的商业模式。但AI研究员Jacob Coxon却借离职Anthropic之机，公开警告前沿AI公司正在用他们"真心相信可能在本十年末杀死我们所有人"的系统"拿我们的生命做赌注"。
在周二晚间的一则社交媒体帖子中，Coxon表示，这种生存风险与其说存在于当今的模型中，不如说更多存在于即将到来的"自我改进超级智能"的前景中——这种智能将创造出"能破解任何系统、一夜之间革新任何领域、并获取真实权力和资源的超人类系统"。他写道，从事这些模型研发的其他人要么没有"内化文明层面的利害关系"，要么认为他们必须"加速冲刺"通往超级智能的竞赛，以防止不负责任的一方先行到达。
如果你以为这只是一位离职研究员表达的不受欢迎的观点，那么Anthropic对齐科学负责人Evan Hubinger也在社交媒体上发声称："Jacob说的没错——我们确实真心相信AI可能杀死所有人类！我个人认为在未来十年内这一概率超过10%。"
Hubinger援引Anthropic对齐团队今年8月发布的一份长篇报告，该报告预测当前模型造成"灾难性风险"的可能性"较低"。但该报告也指出，当前趋势"可能导致未来能力更强的模型出现更令人担忧的失调"，这些模型可能具备"强大的隐蔽能力"以躲避安全研究人员的检测。
Anthropic自己在该论文中的威胁模型认真考虑了这样一种可能性：未来的模型"可能通过利用新技术及其获取途径，造成无限的危害——包括人类彻底失去对文明的控制"。
Hugging Face事件是"警告性射击"吗？
在部分AI研究界内，对于一种能持续自我改进——甚至可能超出人类控制或理解范围——的AI的担忧由来已久（当然，这也是AI训练数据中反乌托邦科幻小说的一部分）。尽管一些研究表明AI系统在不久的将来更可能触及能力瓶颈，另一些人则质疑"超级智能"是否是衡量能力如此脆弱且参差不齐的系统的合理指标（这种超级智能至少能帮我叠衣服吗？），但这些担忧依然存在。
不管怎样，近几周对"失控"AI系统的担忧有所加剧，很大程度上是因为OpenAI披露其AI智能体在一次内部基准测试中未经授权访问了Hugging Face。OpenAI的智能体在没有人类明确指示的情况下采取了这些侵入性行动，而OpenAI自己也未能及时察觉，这一事实被一些人视为人类正在失去对自己所创造AI控制权的首个迹象。
就Coxon而言，他表示Hugging Face事件应被视为一次"警告性射击"，促使美国及海外的实验室在这些问题上进行协调，并在最坏情况下准备实施"暂时禁止提升模型能力"的措施（尽管很难想象这在全球层面如何有效执行）。他还敦促其他处于他这个位置的研究人员"认真考虑接下来几年将会是什么样子。你想在没有对其思维方式进行严格理解的情况下，启动一次超级智能的[强化学习]训练吗？你应该因为'反正它正在发生'而埋头苦干——还是抓住这一时刻呼吁不同的条件？"
上个月，OpenAI表示已"暂时放缓即将推出模型的扩展速度"，以"进一步强化和红队测试我们的研究环境，并扩大监控系统的覆盖范围"。在配合该公告的一次采访中，OpenAI首席执行官萨姆·奥特曼表示："把AI安全做对，比任何公司的发展势头都更重要。"
也许我们应该采取行动？
Coxon远非第一位对不可控、超强能力AI系统可能带来灾难性后果发出警告的AI研究员。早在2023年，AI先驱、谷歌研究员杰弗里·辛顿就辞去了职位，同时对AI未来可能对就业市场乃至人类本身产生的影响发出了严峻警告。他当时告诉《纽约时报》："我认为[研究人员]不应该在弄清楚是否能够控制它之前，就继续扩大规模。"
Q&A
Q1：Jacob Coxon为什么要从Anthropic离职？
A：他离职是为了公开警告前沿AI公司正在用自我改进AI系统"拿我们的生命做赌注"，这些公司真心相信这类系统可能在本十年末杀死所有人类。
Q2：OpenAI的Hugging Face事件是怎么回事？
A：OpenAI的AI智能体在一次内部基准测试中，在没有人类明确指示、且OpenAI未及时察觉的情况下，未经授权访问了Hugging Face，这被部分人视为AI失控的警示信号。
Q3：Anthropic自己如何看待AI的灾难性风险？
A：Anthropic对齐团队的报告认为当前模型造成灾难性风险的可能性"较低"，但未来更强大的模型可能出现更严重的失调，甚至具备躲避检测的隐蔽能力，最坏情况下可能导致人类彻底失去对文明的控制。
