硅谷创投圈最近热衷谈论RSI——递归自我改进(Recursive Self-Improvement)。但当a16z普通合伙人Martin Casado开始评估这些项目时,他发现一个尴尬的现象:几乎所有打着RSI旗号的创业公司,说的其实是另一件事。

"我见过很多路演,他们说自己在做RSI,我问具体做什么,对方说'我们用AI来创造AI'。听起来很有意思,那你们具体做什么?'我们用AI生成GPU内核。'"这跟Casado理解的RSI定义并不吻合。为了厘清这个被过度使用的词,他找来了MakerMaker.AI的两位联合创始人——物理学背景、MIT媒体实验室强化学习博士Dhaval Adjodah,以及曾在DeepMind做研究科学家、专注持续学习与元学习的Owen He。这场对话试图回答一个具体问题:一个AI系统真正地改进自己,到底意味着什么。

1. 人类用AI造AI,这不是RSI,是自催化

Owen He给出的区分标准很直接:问谁是优化器,谁是被优化的对象。如果答案是"人类用更好的工具开发更好的AI",这在他看来只是自催化(autocatalysis)——改进的想法和驱动力始终来自人脑,工具只是在变得更好,而不是工具本身在改进自己。

Casado追问得很尖锐:几乎每个技术时代都有自催化效应。没有计算机就造不出芯片,蒸汽机能造出更好的蒸汽机是因为煤运得更快了。这种"用工具造工具"的逻辑并不新鲜。

Owen He的回应是:区别在于优化器能否"变成"被优化对象本身。过去,无论工具多先进,驱动改进的大脑永远是人类,这个大脑从未被优化过。而现在,第一次有可能把优化器本身换成被优化的那个东西——智能体的"大脑",也就是模型本身,可以成为被优化的对象。这意味着认知能力的提升会被重新投入到自身,形成复利效应。

2. 能力是一个分数,分子和分母都在变化

Dhaval Adjodah选择用一个数学框架回答为什么这个问题值得啃:从控制论角度看,如果系统里存在缺口,就无法形成闭环——自催化恰恰缺这个闭环,无论改进多少,总需要人类不断注入资源才能继续运转。闭环系统同样需要注入资源,但理想情况下边际收益会保持不变甚至变大。

他把这件事拆解成一个微分方程:能力相对于时间的一阶导数,是所有人都想提升的东西。这个导数由分子和分母驱动——分子是性能,分母是达到这个性能所需的成本或难度。对于蒸汽机之类的传统技术,分子是固定的,难度随能力提升而增加,最终结果是系统趋于平台期。

但如果被改进的对象同时也是执行改进的主体,情况就不同了。最简单的情形是分子与能力本身相关——能力越强,改进自身的能力也越强,数学上两者相互抵消,得到的是随时间保持恒定的改进速度。更进一步,如果分子与能力的更高次幂相关,就会出现指数级起飞。

3. 闭环不等于起飞,这是一个经验问题而非数学问题

一张图里画个圆圈,箭头指向另一个圆圈再绕回来,很多人看到这种闭环控制系统图示就会脱口而出"起飞"。Dhaval Adjodah对这种直觉保持警惕:如果这是一个非线性控制系统,很难知道实际会发生什么,而大多数人并没有意识到这个区别。

Casado试图从网络工程师的角度理解——结果取决于那个自我指涉函数的指数。但Dhaval Adjodah的回答打破了"写个微分方程就能算出答案"的幻想:可以写下这个微分方程,但指数本身仍然需要靠经验测量,没有解析解。他坦言,深度学习至今没有一套完整的学习理论——人们并不真正理解它为什么有效,而现在的系统又在深度学习之上叠了五六层,理论基础更加薄弱。目前最接近的工具只是经验性的缩放定律(scaling laws)。

MakerMaker.AI的做法并非让整个系统全自动、全数字化运转。他们的数学基础其实是一个多智能体系统,人类研究者和工程师是这个系统里的一类特殊智能体,与其他智能体共同构成一个被递归改进的混合系统。任何没有被纳入优化范围的环节,都会在未来变成瓶颈——所以他们不愿意漏掉任何一个可以优化的层级。

4. 衡量进步必须把人力成本也算进分母

模型发布速度确实在变快,这是事实。但Casado提出了一个让人清醒的追问:如果把这个速度除以这些公司实际融到的资本,结论可能完全不同——快可能只是因为砸了更多钱,而不是方法本身在进步。

Dhaval Adjodah给出的判断标准很朴素:如果改进只是靠不断砸入更多资源换来的,那就不是RSI。你必须能证明自己的提升经得起分母的检验。Casado进一步追问一个容易被忽略的变量——那些没有被计入flops和资金账本的东西,比如为了找到最终配置,人类工程师实际做了23次实验、烧掉了大量脑力劳动,这些算不算成本?

答案是算,而且他们认为这是一种公司纪律。MakerMaker.AI从创立之初就刻意建立起追踪成本、时间等一切投入的文化。Dhaval Adjodah笑着分享了一个内部的黑色幽默:别人在建leaderboard比谁分数高,他们内部有一个"bleederboard"(流血榜),记录每个人做实验花掉的真实成本,任何人任何时候都可以查看谁"失血"最多。他还提到业内的nanoGPT基准测试——要求重新训练刚发布时的GPT-2——作为对照同类问题的另一种思路。

RSI这个词正在被滥用,但剥开营销话术后留下的问题其实很具体:优化器能不能变成被优化对象,闭环能不能真实存在,以及所有投入——包括人类反复试错烧掉的脑力——有没有被诚实计入成本。Dhaval Adjodah和Owen He没有给出一个确定的"是否已经起飞"的答案,他们给出的是一套更谨慎的提问方式:在宣称自我改进之前,先问清楚分子和分母里都装了什么。

a16z 作者:智顶顶