这是Big Technology Podcast的周五特别版,主持人Alex Kantrowitz与长期搭档、科技媒体Margins的作者Ranjan Roy,花了约一小时时间,试图为当周席卷科技界的一场"AI末日大讨论"降降温。

节目播出时,话题的导火索仍是一条持续发酵的推文。Anthropic研究员Jacob Coxon宣布辞职,并在社交平台上写道:"我在OpenAI和Anthropic合计做了三年预训练研究。这两家公司都没有负责任地行事。它们在径直奔向能够自我改进的超级智能,用我们的生命在豪赌。"这条推文最终斩获超过1.65亿次浏览。紧接着,仍在Anthropic任职的对齐研究员Evan Hubinger公开表态支持Coxon,并补充了一句更令人不安的话:"我个人认为,AI在未来十年内杀死所有人的概率超过10%。我相信Anthropic在尽力而为。但我们目前还没有解决超级智能对齐问题的方案,而且显然没有走在正确的轨道上。"

这两条声明接连引爆舆论,恰好又撞上OpenAI的AI系统被报道协助破解了一道数学千年难题,以及700个AI代理协调攻击了Hugging Face平台的新闻——完美的信息风暴,让"AI灭绝人类"的讨论一夜之间从学术圈漫出,涌向政界、媒体和普通用户。

1. 那条推文为什么会爆

Ranjan Roy承认,这件事的"逃逸速度"多少出乎他意料——不是因为话题新鲜,而是因为时机太准。他在劳动节假期刚刚啃完一份关于AI安全漏洞的技术报告,研究的是"失控代理逃脱围栏"的现实风险。假期结束、人们回到工位,心理上已被近期的Hugging Face事件预热,Coxon的推文就像一根火柴扔进了干燥的草堆。

Kantrowitz提出了一个他自称"喜欢但并不真正相信"的阴谋论:X平台的实际控制者(即埃隆·马斯克)可能有动机让这条推文爆发式传播——既能迫使OpenAI和Anthropic放慢脚步,也能推动监管落地,从而让已建成大型数据中心的玩家形成护城河。对此Ranjan的回应颇为直白:"别忘了,在那个平台上,某个企业家是可以直接按按钮控制一条内容是否爆炸的。"他俩随即决定不再纠结于马斯克的动机,而是回到最简洁的解释——即Occam's Razor:素材本身炸了,是因为时机和"一二连击"的组合太致命了。

2. Anthropic内部真的这样想吗

节目里一个反复出现的问题是:这些AI公司的研究员,真的相信他们说的话吗?

Ranjan讲了一个细节。大约四个月前,他向同事John——一位在AI推理服务商工作、偏纯工程背景的人——问起,Anthropic为什么要公开说这些末日预言。John的回答让他愣住了:"你不明白。在研究侧,每个人真的相信这件事。是真的相信,不是表演。"

节目播出当周,Ranjan说自己终于第一次"现场"看到了这一点:Evan Hubinger站出来,随后是OpenAI研究侧的多名人员,接连公开举手表示"我也认为10%、30%、70%的人类灭绝概率是合理的"——人们争着报出一个数字,好像在说"我比你更严肃对待这件事"。Kantrowitz也证实,他本周与一位资深AI行业人士见面,对方听到"10%"的说法,反应是"至少是这个数"。

这是节目两人认为最重要的信息之一:这不是营销话术,是真实的认知状态。

3. 谁从这场恐慌中获益

但"真实的信念"与"客观的激励结构"可以同时存在。节目花了不少时间拆解这场话题爆发背后各方的利益考量。

Ranjan列出了几个层次。第一,Coxon离职的时机本身值得注意:他在Anthropic的时间极短,大约只有六周到四个月(两人对具体时间记忆模糊,只确认"非常短")。第二,这场讨论把公众注意力从OpenAI拉回了Anthropic,而当时舆论焦点正因千年难题和Hugging Face事件聚集在OpenAI身上。第三,也是Ranjan认为最值得警惕的一层:Anthropic的IPO即将到来,有传言称估值将达到2万亿美元——在S1文件递交之前,"我们是唯一认真对待安全问题的公司"这个叙事,在资本市场上并不是坏事。

但他同时强调,这个逻辑并不排除那些人"真的相信"。人可以同时持有真实信念,并在利益上恰好与这个信念方向一致。

还有一个更宏观的政治背景:节目录制时距离中期选举不远,而Bernie Sanders已在呼吁暂停AI开发,Josh Hawley也在谈监管。两位主持人观察到,AI成了跨党派的最佳"稻草人"——左右两翼都能用,几乎是美国政界罕见的双赢议题。

4. 把百分比贴到猜测上,不会让它变成数学

节目里有一段对话,Kantrowitz和Ranjan都花时间戳破了一件事:用具体数字表达末日风险,并不意味着这个数字有任何实证基础。

"10%的人类灭绝概率"听起来比"AI可能杀死所有人"更精确、更可信——但它从哪来的?没有历史数据,没有统计模型,没有可重复的方法论。它本质上是一个信心水平的语言表达,被包装成了统计声明。Ranjan的原话是这个意思:给一个猜测贴上百分比,不会让它变成数学。

这个区分很重要,因为一旦具体数字进入讨论,媒体就会把它当事实引用,政策制定者就会把它当依据,而原始声明的极度不确定性就消失了。

5. 真正值得担心的风险在哪

节目的最后部分,两人试图把讨论拉回到更有实证基础的地方。不是"AI会不会在某个未知时间点杀死全人类",而是当下已经发生的、可观察的风险。

包括但不限于:AI系统被用于大规模自动化欺诈、深度伪造内容对选举的干扰、AI辅助的网络攻击能力提升(Coxon的推文中也提到"这些系统将很快能黑入任何东西")、以及在缺乏监管框架的情况下AI能力快速扩散带来的不对称风险。

两人并没有给出一个清晰的结论,说"AI会或不会灭绝人类"。他们的立场是:认真持有这个信念的研究员存在,这本身是有意义的信号;但公共讨论被末日叙事主导,会挤压对上述现实风险的关注和行动空间,这才是他们认为最需要警惕的。Kantrowitz把这期节目的目标概括为:在极端意见主导的一周里,让听众带着某种接地气的判断离开,而不是带着更大的恐慌或更大的轻视。

playlist6 作者:智顶顶