
2009年,David Silver的博士论文主题是将强化学习应用于围棋——人类用数千年都没能完全参透的游戏。十多年后,他做了一件更极端的事:把AlphaGo训练过程中依赖的全部人类棋谱数据拿掉,得到的AlphaGo Zero用不到两天时间就超越了用人类数据训练出来的前代系统。这次经历成了他此后所有判断的起点,也是他离开DeepMind、与Lasse Espeholt共同创立ineffable Intelligence的理由。
在Sequoia Capital合伙人Sonya Huang主持的Training Data播客上,两人详细谈了这场赌注:不靠人类语言和人类数据,让一个系统从一无所知开始,自己发现科学、数学与语言——他们称之为“超级学习者”(superlearner)。
这不是一次常规的创业故事。Silver用围棋生涯里最反直觉的结果作为论据,Espeholt则带来了他在DeepMind和Google Brain期间把强化学习规模化的工程经验。两人想验证的,是整个行业目前都还没有人认真下注的一个方向。
1. 去掉人类棋谱之后,系统两天就超越了前代
这场实验开始得比ineffable早得多。2009年的博士阶段,Silver就认定了一件事:通向智能乃至超级智能的正确路径,是让系统通过强化学习从经验中学习、自己变得越来越强,而不是靠人塞给它答案。围棋证明了这一点可行,此后这个判断在他的整个职业生涯里没有变过。
真正让他意外的,是后来LLM世界展示出的一个现象:一个在海量数据上预训练过的系统,竟然可以在极小一批数据上快速微调,行为就发生彻底改变。这让我意识到,一旦把规模做对,很多原本看起来极其困难、极其缓慢的事情,在经历过足够多数据之后会突然变快——这是他此前没有预料到的一课。
2. 离开DeepMind,只因为那条路线不经过LLM
按理说,Silver完全可以在DeepMind内部跑这个项目——那里的算力资源几乎没有人能比。但他的解释是,自己对如何通向超级智能有一个很强的信念,而这条路径并不经过以LLM为中间产品的阶段。一旦认真想清楚这件事,他觉得这个判断值得被一整个全力以赴的实验室代表,而不是一个以LLM产品为中心的组织里的一个角落。
更现实的考量是,全世界已经有成千上万名顶尖研究者在做同一件事——围绕预训练、后训练和编码能力不断加码LLM。再多一个人去做同样的事,未必是时间和精力最好的用法;反倒是那盏“没人去看”的路灯下面,如果押对了,一旦成功就会改变整个AI领域。这个判断,加上一个本来就想好、不舍得浪费的公司名字,促成了ineffable的诞生。
3. “ineffable”:一半是野心,一半是双关的自我保证
公司名字背后有两层意思。第一层是认真的:超级智能有一天会发现的知识,会是人类难以想象的,profound到甚至没办法用人类语言表达出来——这恰好呼应了ineffable不走“基于人类语言”路线的选择,转而让系统自己去发现知识。第二层是埋起来的玩笑:如果真的全押在“从经验中学习”这件事上,那这条路就必须成功,换句话说,它“不可能搞砸”——这也是“ineffable”这个词里藏着的一个双关。
4. 两次离开DeepMind之后,带着强化学习规模化的全部经验回来
Lasse Espeholt在2015年1月加入DeepMind,大约从2016年起开始和Silver一起共事——当时他在深度学习团队,Silver带的是强化学习团队,两人在一个内部项目上合作。此后他两次离开DeepMind:2018年夏天第一次离开去了Google Brain,后来Google Brain和DeepMind合并,他又回到了原来的组织;又过了一年左右,在Silver离职前,他第二次离开。
他听说ineffable这件事,是因为一位后来的投资人找他打听对Silver的看法。他的第一反应是“糟了,我错过了一个机会,早该自己联系他”——没想到不久之后,那位投资人反过来联系了他。促成他加入的,除了和Silver共事的经历,还有他本来就认识的Wojciech和Chris、对团队的认可,以及在欧洲做这样一个项目的吸引力。真正让Silver看重的,是Lasse当年在规模化强化学习上做的开创性工作——如何把强化学习并行化、搭建可扩展的架构,这些思路后来成了整个领域今天普遍使用的方法的源头。
5. “超级学习者”要同时具备深度和广度
对Silver来说,“超级学习者”必须同时具备两种能力。深度上,它要能从一无所知出发,一路走到发现远超人类已知范围的东西。他的类比是人类集体的历史:我们曾经只是脑子里的一团灰色物质,一无所知,却靠集体发现,摸索出了今天人类掌握的一切——语言、技术、科学、数学,没有人下凡给我们一份蓝图,也没有人喂给我们一个万亿级别的数据集,一切都是自己摸索出来的。这件事至今没有任何AI系统做到过,他认为这正是通向超级智能的关键。
广度上,这样的系统应该可以被丢进任何一种经验流里——模拟世界、数字世界或者物理世界——都能持续学习下去。如果这两件事都能实现,他认为诞生的将是一种“像遇到魔法一样”的超级智能。
从AlphaGo到AlphaGo Zero,Silver用两天时间验证了一个判断:拿掉人类先验,系统反而能更快地超越人类经验本身。ineffable Intelligence想做的,是把这个判断从一盘棋扩展到整个世界——让一个从零开始的系统,独自走完人类花了几万年才走完的发现之路。这场赌注能不能成立还有待验证,但至少在Silver和Espeholt看来,这是目前整个行业都还没有人认真尝试的另一条路。
