社交平台X上一位AI研究员的连续发帖引发轩然大波，他自称因伦理问题辞去了Anthropic的工作，这一系列帖子迅速走红，引发数千条回应，也重新点燃了外界对人工智能潜在未来风险的讨论。
雅各布·科克森（Jacob Coxon）曾在OpenAI从事大语言模型预训练工作，随后加入Anthropic，但他因担忧AI发展可能导致人类灭绝而辞职。他写道："这两家公司都没有负责任地行事，它们正在争相开发能够自我改进的超级智能，拿我们所有人的生命做赌注。"所谓超级智能，指的是一种假设情境，即AI的"认知"能力在科学、数学、战略、创造力和问题解决等所有领域都远远超越人类。
截至撰稿时，科克森在X上的这条连续发帖浏览量已超过1.56亿次，点赞数超过75.2万次。
这番言论迅速在社交媒体上传播，并被多家主流新闻网站报道，甚至引来伊利诺伊州州长普利兹克（JB Pritzker）的回应。他在X上写道："AI对人类构成的威胁正变得越来越清晰，我呼吁业界和华盛顿立即采取行动。"
不到24小时内，Anthropic内部其他人也对这番言论做出了回应，他们没有与科克森展开辩驳，反而证实了AI可能取代甚至消灭人类的威胁，对AI研究人员而言并非天马行空的幻想，而是现实存在的风险。
Anthropic负责AI对齐压力测试团队的负责人埃文·胡宾格（Evan Hubinger）在X上写道："雅各布（科克森）说的没错。我们确实真心认为AI有可能杀死所有人类！我个人认为，在未来十年内这种可能性超过10%。"
胡宾格表示："我认为Anthropic正在竭尽全力，但我们目前还没有找到解决超级智能对齐问题的方案，而且并没有明确朝着解决方案的方向前进。"
Anthropic和OpenAI的发言人均未立即回应置评请求。
辞职风潮成为预警信号
科克森的担忧很难被轻易否定，一个重要原因是：他并非第一位因此类担忧而离开大型AI公司的研究员。今年2月，Anthropic的一位安全团队负责人姆里南克·夏尔马（Mrinank Sharma）辞职，他在X上告诉粉丝："世界正处于危险之中……我们似乎正接近一个临界点，我们的智慧必须与我们影响世界的能力同步增长，否则我们将面临后果。"
同月，OpenAI研究员佐伊·希齐格（Zoe Hitzig）在《纽约时报》专栏中写道，她辞职的部分原因是公司正在效仿Meta的路径，把利润置于伦理之上。几天后，她在X上转发了一首自己写的诗，题为《我们如何编程出末日》。
此后，包括OpenAI首席执行官萨姆·奥特曼在内的AI行业领袖，已经收回了此前关于AI潜在危害、以及是否会造成大规模失业的一些言论。Anthropic今年早些时候也公开承认，为了跟上包括OpenAI以及一批发布更便宜、性能更强模型的中国公司的竞争步伐，公司放宽了一些安全标准。
随着OpenAI和Anthropic都在加速推进首次公开募股（IPO），这种竞争态势引发了外界的担忧：行业领袖没有在部署AI模型时保持谨慎，反而在急速冲向未知领域，发布可能带来当下及未来风险的模型。Anthropic此前发布的先进AI模型，就因存在重大网络安全风险而被下架或临时限制使用，正是这种情况的例证。
在科克森的案例中，他的辞职在已离开AI公司的人当中引发了迄今为止最大的震动，为AI技术加速发展做出贡献所带来的风险，远远超过了任何经济利益。他告诉新闻网站Axios："我在任何股权兑现之前就离开了。"
颇具讽刺意味的是，OpenAI和Anthropic都持有这样一种立场：如果自己放慢脚步，那些不那么在意安全的对手就会主导AI的未来。
Link商学院AI教授莎玛·海德（Shama Hyder）说："科克森说得对，竞争正在推动速度。这些公司中的每一家都认为，放慢脚步就等于把领先地位让给不那么谨慎的对手，所以即便是那些理解风险的人，也有理由加速前进。"
通用人工智能与超人类AI
AI对人类构成迫切威胁的速度有多快，可能取决于这项技术何时达到两个日益模糊的所谓基准：科克森在其走红帖子中提到的超人类AI（也称人工超级智能，即ASI），以及AGI，也就是通用人工智能。
AGI标志着一个假设性的临界点，即AI的能力达到（或超越）人类思维的水平。有人预测AI将在短短几年内达到这一基准，或者至少会在21世纪末之前实现。不过一些AI行业领袖也对这一时间线提出质疑，比如英伟达的黄仁勋，他在近期的一次财报电话会议上淡化了这类里程碑的重要性，他说："就许多任务而言，我们可以说已经实现了AGI。"他表示，这些里程碑"在目前这个阶段其实没什么意义"。
各方对目标的界定也各不相同。有人倾向于用具体测试来衡量AGI，也有人认为只有当AI能够以超越人类能力的方式自主行动时，才算真正实现AGI。
ASI则是在AGI之后更远的阶段，理论上标志着AI在所有任务上都能超越所有人类，尤其是在深度思考和认知理解方面。这一时间线要模糊得多，但AI发展的速度让科克森这样的研究人员认为，这一天可能比很多人想象的要来得更早。
悲观派与乐观派之争
关于AI是否会在2030年前消灭全部人类的争论，折射出更广泛的AI悲观派与乐观派之争，以及双方中间地带缺乏细致讨论的现状。AI乐观派通常通过强调AI的巨大潜力（例如生产力的大幅提升）来炒作AI；而AI悲观派则朝相反方向炒作，强调失业和人类灭绝的风险。
正如艾米丽·本德（Emily Bender）和亚历克斯·汉娜（Alex Hanna）在其著作《AI骗局》中所指出的，AI乐观派和悲观派都依赖科幻小说式的套路，将超级智能塑造成乌托邦式的救世主或末日式的威胁，尽管缺乏证据表明这类技术已经临近。许多AI批评者认为，这两种叙事本质上都是企业营销手段，其底层逻辑相同，都是虚假地将一个无所不能的AI未来呈现为绝对必然的结果。
科克森这条帖子走红的速度及其引发的反响，或许表明AI行业正面临又一场公关危机——在这一年里，AI数据中心正遭受抨击并试图改善自身形象，而包括Meta在内的社交媒体公司也正因科技成瘾等问题的数十亿美元判决而元气大伤。
奥特曼等AI行业领袖采取的一种策略是，将公众的注意力引导到AI能带来什么、除了失业和大规模死亡之外它还能提供什么上——换句话说，就是用乐观派的说辞取代悲观派的说辞。
"富足"是近来被反复提及的一个热词，它承诺一个AI进步和红利将消除稀缺、改善所有人生活的世界，通过降低创造新商品和服务的门槛，让这些商品和服务的价格更加低廉，而不仅仅是让那些能够负担得起先进AI技术成本的人受益。
海德表示，科克森的帖子中缺失的是对AI行业以外的人们该怎么做的指引。她说："这场关于灭绝的争论掌握在少数几百个控制训练运行的人和能够检查这些训练的监管者手中。"
这个问题最终归结为人类想要用这项技术做什么。海德说："如果AI真的强大到足以做出人们所担忧的那些惊人之事，那它同样强大到足以做出我们在医学和科学领域一直期盼的那些惊人之事。"
到目前为止，这种被大肆宣传的"富足"论调仍受到质疑，尤其是当它持续把公众的注意力和好奇心聚焦在AI身上时。乐观派的说辞对那些正大量吞噬投资资金、并大肆宣传公司IPO可能代表的数十亿（或数万亿）美元价值的公司是有利的。
你可以反问：如果世界上已经没有人类可以享受这种富足，那富足又有什么意义？
Q&A
Q1：雅各布·科克森为什么辞职离开Anthropic？
A：科克森因担忧AI发展可能导致人类灭绝而辞职。他认为Anthropic和OpenAI都没有负责任地行事，而是在争相开发自我改进的超级智能，拿人类生命做赌注，他甚至在股权兑现之前就选择了离开。
Q2：AGI和超人类AI（ASI）有什么区别？
A：AGI指AI能力达到或超越人类思维水平的假设临界点，一些行业领袖认为部分任务上已接近实现。ASI则是在AGI之后的更远阶段，理论上指AI在所有任务上都全面超越人类，尤其是在深度思考和认知理解方面，其实现时间线更加不确定。
Q3：AI悲观派和乐观派的争论主要在讨论什么？
A：AI乐观派强调AI带来的巨大潜力，例如生产力提升和"富足"未来；AI悲观派则强调失业和人类灭绝等风险。有批评者指出，两种叙事本质上都依赖科幻套路，缺乏证据支撑，功能上更像是企业营销手段。
