2026年9月，Y Combinator 旗下的技术分享活动"YC Paper Club"举办了一期专场，主题只有一个词：Harness（智能体的外壳/脚手架系统）。当晚的活动由 YC 内部研究者主持，邀请了 Prime Intelligence 的 Seth Karten、研究者 Jon Saad-Falcon，以及负责 YC 内部智能体系统 QM 的 Josh France 和 Regan Bell 依次登台。整场分享的开篇部分，也是本文的主体内容，由主持人系统梳理了"Harness"这个长期被业界轻视的话题，为什么值得一整个晚上的讨论。
Harness 这个词在中文里没有特别贴切的对应，勉强可以理解为智能体的"外壳系统"或"运行脚手架"——它包裹在模型权重之外，决定了模型如何接收上下文、调用工具、管理记忆、执行多步任务。过去几年，从 Andrej Karpathy 开源的"自动研究员"实验，到 ARC Prize（由 Francois Chollet 和 Mike Knoop 发起的 AI 通用智能测试基准）屡屡被刷新的成绩单，都在指向同一个反直觉的结论：决定一个 AI 系统上限的，往往不是权重本身，而是包裹在它外面的这套系统。这也是为什么，一个原本被 Reddit 网友嘲讽为"不配出现在顶级机器学习会议上"的话题，如今被 YC 摆上了台面。
1. "这只是套壳"：一场专门为脚手架办的读书会
活动一开场，主持人先自嘲了一句：Harness 长期以来的名声不太好。他翻出了一条一个月前的 Reddit 评论，措辞相当不客气："我不确定这种提示词工程（prompt engineering）配不配出现在顶级机器学习会议上。"另一条评论更直接："上下文工程（context engineering）根本不是研究问题。"
主持人没有反驳这些评论的字面意思——Harness 确实常常表现为一堆看起来朴素的工程手段：系统提示词、工具调用、上下文管理。但他给出了一个很难被忽视的数字：在同一批测试里，harness 版本一和版本二之间，仅仅是外壳设计的差异，就能带来18%的准确率提升。他援引了经典的 METR 图表（衡量 AI Agent 能够独立完成任务时长随时间的进展曲线），指出过去几年这条曲线的爬升，很大程度上并不是因为模型权重变聪明了，而是因为外壳变复杂了。他把这段历史分成两个阶段："静态 harness 时代"——外壳本身不具备自我改进能力；以及最近六个月才真正出现的"自我进化 harness 时代"。
他还提到自己很喜欢一家名为 Trajectory 的公司 CEO 在一次演讲中展示的图。那张图讲的是一个业内长期忽视的失衡：整个行业一直在用困惑度（perplexity，某种程度上和模型的"智商"相关）去衡量模型智能，不断把这根智力轴往上推，却几乎没有认真利用"测试时经验"——模型在执行任务过程中生成的大量交互数据。用他的话说，模型遇到一个新领域，能力提升很慢，因为没有一套结构能让它从单次样本里快速学习。他提到自己此前在 YC Paper Club 做过一个实验：不断增加在线样本数量，观察模型的学习曲线——上下文学习（in-context learning，简称 ICL）在样本量到40到50个之后就会饱和，不再对验证集表现产生任何提升，之后必须切换到小秩 LoRA、大秩 LoRA，最终切换到全量微调（SFT）。这几种训练方式彼此割裂，缺乏一套连续的适应机制，而这恰恰是 harness 试图填补的空白。
2. 同一套权重，30分还是95分
这一章的核心数字来自 ARC-AGI——一个专门用来隔离出"流体智能"（fluid intelligence，即快速适应全新问题分布的能力）的基准测试。主持人透露自己所在的 YC 冬季26批次曾直接参与到这个基准的打磨过程中，帮助 ARC Prize 团队核实题目设计：从第一道题到第二道题，技能维度必须彼此正交，确保测试的是模型面对全新分布时的适应速度，而不是某种可以死记硬背的模式。
在这个只有 ARC Prize 联合创始人 Greg（Greg Kamradt）和 Francois Chollet 才能接触到的私有测试集上，第一个被验证成绩的模型是 Claude Opus，得分是30%。而用了某套 harness 之后——主持人特意强调，这套 harness 就是那种"不配被称为研究"的封装和脚手架——同一套模型权重的得分冲到了95%。几乎在同一时间段，英伟达团队用他们的方案（AVO）拿到了100%。
"同一份权重文件，因为外壳不同，能做的事情天差地别。" 这是全场最直接的一句总结。主持人没有把这归因于某种玄学，而是指出：ARC-AGI 本质上考察的正是模型能否在极短时间内消化一个全新问题、快速调整策略——而这恰恰是 harness 最擅长做的事：管理上下文、调度工具、组织多轮反思，让模型把"经验"真正用起来，而不是每次都从零开始推理。
3. 意外造出的"自动研究员"
留白之后，话题转向了一个更个人化的故事。今年3月，Andrej Karpathy 发布了他的"自动研究员"（auto researcher）项目，主持人把它 fork 了一份，本来只是想搭一个简单的用户界面，方便自己观察运行过程。结果他说自己"没打算这么做，但不小心搭出了一整套 harness"。
这套系统的运作方式是：先给出一个研究"目的"。他举了一个真实的例子——扩散语言模型（diffusion LM）目前打不过自回归语言模型（AR LM），但如果把扩散模型拆分成许多分片（shard），因为扩散模型在单块 GPU 上的算术强度（arithmetic intensity）远高于自回归模型，理论上通过集成（ensemble）多个分片可以在总体效果上反超。他把这个想法交给一整个智能体"蜂群"：一个负责查找相关论文和 GitHub 仓库的 scoping agent；一个扮演 PI（首席研究员）角色、名叫"Chris Ray"的智能体，负责统筹进度、每隔一小时催一次；一个真正执行实验的研究 agent，名叫"John Saad-Falcon"——恰好也是当晚另一位演讲嘉宾的名字，很可能是主持人拿身边同事的名字给智能体命名的小玩笑；中途还会拉一个"顾问团"角色进来听取反馈，主持人自己和另一位同事 Yaso 就在这个环节介入给建议；最后交给一个 author agent，负责在合适的时机喊停，冻结想法，开始写消融实验（ablation）和论文。
整套系统配了一个可以随时随地打开的"驾驶舱"界面，通过 Tailscale 组网，出差路上也能查看进度、直接对话干预，重要节点还会发邮件提醒。如果给了足够的算力预算，这套系统真的能一路跑到发论文的地步。主持人说自己确实读过这些论文，3、4月份产出的质量还很一般,但现在已经能拿得出手。现在他的做法是同时给八个想法、分配给八个 H100 节点（每个节点配八张 H100），定期check-in，收论文。"我们现在能在同一份权重文件上做到的事情，光靠改外壳这一件事，就已经很离谱了。"
4. 六年历史，五分钟讲完：从GPT-2的while循环到多智能体反思
留白过后，主持人开始了他准备了一个周末的内容——把从2019年到现在的 harness 演化史压缩进五分钟，并提前声明这不会按时间线讲述，也会粗暴地跳过和简化很多论文。
最初的版本，也就是他称之为"V0 harness"的形态，出现在2019年2月的 GPT-2 上：一个简单的"直到遇到终止符就继续生成"的循环，配合 top-p 采样和一个执行环境，仅此而已。没有工具调用，没有技能，什么都没有。用经典的 GSM8K（小学数学应用题基准）举例：系统提示词写着"你是一位数学老师"（这正是最早的人设式提示词玩法），给出一道题——苏西有五块钱，花了三块，还剩多少——模型没有任何思维链，直接输出四个井号加上答案再加终止符，系统只看井号后面的内容判断对错，给出加一或减一的得分。
接下来的六年，几乎所有进展都是往这个静态外壳里不断塞新功能。2020年7月的《Few-Shot Learners》论文（即 GPT-3 论文）带来了把示例塞进上下文的做法——先给模型看一个类似的例子，再让它照着做。随后是思维链（chain of thought）：直接让模型预测答案往往很难，不如把推理过程摊开到更多 token 上，训练模型一步步推导到答案，而不是直接吐出结果。这些都属于上下文层面和输出空间层面的创新。
再往后是工具调用能力的引入：WebGPT 先于 Toolformer 出现，核心思想是给模型暴露一批工具——本质上就是一个个 JSON 对象。举例来说，模型不需要在权重里"计算"5减2等于几，只需要调用 Python 执行减法函数，拿到答案2即可。这些工具会被列在系统提示词里供模型选择调用。再之后是 MemGPT，它引入了一项此前从未有过的能力：模型可以对自己的上下文进行读写、更新、删除，而不只是不断向后追加。这相当于把上下文里单独切出一块"记忆区"，模型可以主动维护它。
Voyager（在 Minecraft 环境里训练智能体的经典论文）在这个基础上问了一个更进一步的问题：如果模型学会了把多个工具串联起来完成一个任务，怎么把这套流程"蒸馏"回系统提示词里，让它能够长期记住？这正是"技能"（skill）概念的起源——一份 skills.md 文件，里面记录着技能的名字和执行步骤，供模型检索调用。紧接着是 Intercode，它在动作空间上做了另一种创新：让模型直接输出代码，相当于让模型能够即时创造工具或技能——主持人坦言自己也说不清这算工具还是技能，因为严格意义上工具是一个 API，而这里模型输出的是一段函数。
再之后是 ReAct（先出现），随后是 Self-Refine 和 Reflection——这一系列工作引入了"多角色协作"的思路：让不同智能体承担不同职责，互相检查、互相改进上下文。主持人举了个例子：模型执行一个动作时把3和5的位置弄反了，一个内部评估者会介入判断"这看起来不对"，这时可以选择继续在内部循环里打转，也可以把结果送回真实环境获取奖励信号；如果送到反思（reflection）环节，另一个角色会指出错误、要求模型回头修正。这是"让智能体反思自己的输出并加以改进"这一思路最早的雏形之一。而多智能体的思路还能再往前走一步——可以让一个工具本身去孵化（spawn）出另一个智能体……
分享在这里被打断——主持人正要展开多智能体如何相互孵化、协作的下一段历史，但字幕记录到此为止。可以确定的是，这场分享接下来会转向"自我进化的 harness"这一更前沿的话题，并交由当晚的其他嘉宾——研究 ARC-AGI 自我进化框架 Prime Agent 的 Seth Karten、研究本地个人 AI 系统 OpenJarvis 的 Jon Saad-Falcon，以及打造 YC 内部智能体系统 QM 的 Josh France 和 Regan Bell——继续深入。
5. 外壳,不只是外壳
回到开场那个问题：为什么一整晚都要讲"套壳"和"提示词工程"？主持人给出的答案其实很朴素：同一份模型权重，从30分到95分,中间隔着的不是更聪明的模型,而是一整套关于上下文管理、工具调用、记忆维护、多智能体协作的工程积累。这套积累用了六年时间，从 GPT-2 那个简陋的 while 循环,一路走到能够自己孵化研究项目、自己写论文的智能体蜂群。当行业还在争论 harness 算不算"真正的研究"时，ARC-AGI 的成绩单已经给出了自己的答案。
