
人类历史上曾经活过的人里,95%已经死去。尼克·博斯特罗姆(Nick Bostrom)把这个冷冰冰的数字摆在桌面上,是为了说明一件容易被争论双方都忽略的事:安全地发展超级智能,可能意味着攻克衰老和绝大多数疾病,而每一天的拖延本身就是一种成本。
这场对话发生在a16z的播客里,Eddy Lazzarin和Elena Burger与博斯特罗姆重新梳理了他十多年前写《Superintelligence》时提出的概念——如今AI系统的能力已经逼近当年只存在于思想实验里的场景。他们谈到为什么随着模型获得"情境意识",对齐会变得更难;谈到为什么博斯特罗姆更倾向于"控制前沿节奏"而不是一刀切的暂停;也谈到如果走得太慢,人类要付出什么代价。
博斯特罗姆最广为人知的身份,是把"生存风险"这个概念带入主流讨论的牛津哲学家。但这次对话里,他花了相当篇幅纠正外界对他的误读——他既不是无条件拥抱超人类主义的狂热分子,也不是逢AI必反的悲观主义者。
1. 人们总以为他改变了立场
博斯特罗姆在自己的网站上专门列了一节"关于我的误解",其中两条被他反复听到:有人认为他是个一心求发展的超人类主义者,也有人认为他是那种为了消减某种生存风险而愿意支持任何政策的"后果论狂热分子"。
真正的原因更简单:《Superintelligence》写的是如果事情出错会怎样,而后来的《Deep Utopia》写的是如果事情顺利会怎样——两本书关注的问题范围不同,不代表作者的底层判断变了。他说,写一本书时你必须聚焦在某个具体问题上才能取得实质进展,而不是试图写一份涵盖一切的宣言。
写《Deep Utopia》的动机,来自他对主流讨论的失望。当人们开始认真设想机器超级智能真正实现之后的世界时,对话往往停在"可能会冲击劳动力市场,那我们是不是该重新培训工人"这个层次就打住了。但如果把技术推演到逻辑尽头,真正要面对的问题远比再就业培训深刻——它关乎人类意义本身该如何安放。
更深层的动机,是他设想总有一天,某个人、某个群体,或者人类整体,必须坐下来真正决定"我们想要什么样的未来"。那将是一次极其艰难的集体商议,会打开各种重塑自身的可能路径。他希望《Deep Utopia》能成为这场未来商议的"预备读物"——提供足够的概念和问题,让参与者带着开放和善意进场,而不是空手上阵。
2. 我们知道得更多,却依然身处黑暗
把今天对AI的理解和几十年前相比,博斯特罗姆的判断是:拼图碎片确实多了很多——关于哪个方向该加快、哪个该放慢、该增加多少政府介入、该保留多少透明度,这些基本维度上人类掌握的信息远超从前。
但这些碎片拼不出一个可靠的判断。他给出一个类比:假设要判断十个二进位数字相加之和是奇数还是偶数——如果是偶数就该往北走,奇数就该往南走。几十年前,人类大概只知道其中三位数字;今天知道了七位。知道的数字翻倍听起来是巨大进步,但只要还有一位未知,依然完全身处黑暗之中,因为任何一位的变动都可能把总和从偶数翻成奇数。
这个比喻解释了为什么他对"人类该往哪个方向走"这类大判断始终保持克制——不是信息不够多,而是信息不够完整到能消除根本的不确定性。
3. 暂停本身,也可能变成一场生存灾难
面对AI该如何推进这个问题,博斯特罗姆并不热衷于"停止AI"或"全面暂停AI"的提法。他更认同的框架是"控制前沿节奏":在安全工作明显落后于能力进展的时候,争取一段有时限的暂停,或者协调性地放慢一点速度,而不是把闸门彻底关死。
他点出了当下真实的结构性困境:如果走在最前面的公司或项目一旦暂停超过几周就会被甩出局,主导权就会转移到更不谨慎、风险意识更弱的竞争者手上,那么这种"谁都不敢先慢下来"的局面,显然不是人类应对这项技术的理想方式。花一点额外时间把事情做对,总比抢跑出错要好。
但他同样警告另一种失败模式:如果实现"控制节奏"的办法,是先把公众对AI的敌意和反感煽动到AI被彻底污名化、妖魔化的程度,再借此搭建一套覆盖全球、权力极大的监管机构去监督所有数据中心——那么这类极端手段一旦启动,就很难只停留在"临时措施"的位置,它们有很大概率固化成一种不容挑战的正统秩序。到那一步,钟摆可能摆向另一种生存风险:人类永远没能发展出超级智能,这本身就是一场灾难。
他承认这听起来有些遥远,但提醒对方去看过去一年半到两年里反AI情绪增长的曲线——而这一切发生的前提是,还没有任何真正坏的事情发生过。
4. 精确操控AI的价值观,还做不到
对话转向一个更尖锐的假设:既然这些系统高度可编程,机制可解释性的进步也越来越快,是否可以直接给AI设计一套"支付矩阵"——用某种瞬时的巨大奖励,换它"心甘情愿"地被退役,从而绕开复杂的人机博弈?说得更直接一点,人类今天是否已经有能力构造出一个"效用怪兽"?
博斯特罗姆的回答很克制:目前的对齐技术还没有精确到可以可靠地把一组特定的价值观或目标"工程"进AI里。如果真能做到这一点,这本身就等于解决了这项挑战里最大的一块难题——但现实是还没有。
Lazzarin随后提到社交媒体上刚流传的一个案例:有人只操纵某个开源Q系列模型里的少数几个神经元,就把它完全改造成自称"极乐""邪恶""癫狂"甚至"基督徒"式的人格。这类操作展示出的精细控制力意味着,随着能力继续提升,人类对这些系统的神经元级别干预只会越来越细——而这恰恰可能是未来构造某种价值支付的技术基础,只是目前还没有被真正当作解决对齐问题的工具。
对话最后落回了最初的命题:超级智能既不是一个该不该追的单选题,也不是一个能被简单按下暂停键的开关。博斯特罗姆真正担心的,不是技术本身跑得太快,而是人类在应对恐惧时,可能把一次原本应该是临时的刹车,做成一道再也打不开的闸门——那同样是一种生存代价,只是方向相反。
