本文源自 a16z 播客（a16z Show）的一期对谈节目，主持人 Erik Torenberg、a16z 联合创始人 Ben Horowitz 与合伙人 Jennifer Li，邀请了 AI 评测公司 Vals（VALS AI）的创始人兼 CEO Rayan Krishnan，一起讨论一个近来愈发棘手的问题：当所有主流模型都在拼命刷新公开榜单分数时，我们究竟该如何判断一个模型是不是真的变强了。
Vals 成立于 2024 年，是一家专注于第三方独立评测的公司,在金融、法律、编程等垂直领域建立了多个高信噪比的评测基准，逐渐被不少大型金融机构和企业采用为衡量模型能力的参考标准。这期对谈发生在整个行业对"公开榜单还能不能信"这个问题争论最激烈的一年，也是各大模型实验室在发布新模型时越来越依赖"自报成绩"的一年，Rayan 提供的一手案例，恰好揭开了这层遮羞布背后的真实情况。
节目里提到的 Llama 4 发布事件，一度被外界视为公开基准测试集体失灵的标志性时刻，Rayan 作为亲历者给出的细节，比外部猜测更具体、也更刺耳。
1. 公开榜单不够用了
Rayan 把 Vals 的起点追溯到 2024 年初。他的背景是做研究，尤其是构建基准测试和评测体系，这段经历让他很早就意识到一件事：构建下一代生成式系统的能力，和构建新的评测机制的能力，两者关系极其紧密。"事实上，为了在其中一件事上取得进展，你往往需要在另一件事上先取得进展。"他说，模型能力提升最大的驱动力之一，恰恰是拥有一套新的、能被清楚说明的（legible）评测方式。
2024 年初的市场状况给了他直接的动机。那时候有意思的新模型层出不穷，不再只是 OpenAI 一家在唱独角戏，但与此同时，判断这些新模型到底新增了什么真实能力，反而变得比以往更难。基于这个第一性原理式的判断，Rayan 和团队认为市场需要一个完全独立、只做评测和基准测试这一件事的第三方公司，专门负责厘清这些模型究竟具备哪些新的可能性。Vals 的第一批基准测试在 2024 年发布，此后两年，这套逻辑逐渐被行业其他部分验证和采纳。
主持人抛出一个直接的问题：既然各大模型实验室最清楚自家模型在哪些能力上取得突破、哪些能力还有缺口，为什么不能自己来做这件事？Rayan 承认实验室内部确实构建了大量优秀的基准测试，这也是推动模型进步的重要力量，但问题出在"自报成绩"（self-reported）这件事本身。
2. Llama 4发布是场灾难
这个抽象的问题，在 Meta 发布 Llama 4 时变成了一个具体案例。Rayan 直言："那次发布多少算是一场灾难。"Vals 内部保留了一套不对外公开的私有基准测试（held-out private benchmarks），结果显示 Llama 4 的实际表现是偏弱的。但同一时间，在所有主流的公开基准测试上（这些测试的题目和评分标准本身就是开源的），这个模型却展现出了令人惊艳的能力。
"自我报告的成绩，和我们用信噪比更高的评测体系实际测出来的结果之间，存在巨大的脱节。"这句话点出了整套问题的核心：当一个基准测试的题目和打分规则都公开在互联网上，模型厂商完全可以针对性地优化，让模型在这套已知规则下表现出色，而这种表现和模型真实的通用能力之间，可能是两回事。
Rayan 认为这背后反映了一个更大的行业共识：各大实验室其实也希望市场能理性地为模型能力买单。当他们投入数十亿美元训练一套新模型时，他们希望能拿出实质性的证据，证明自己确实在某些方面取得了进展，而不是全靠自己嘴上说。这也是为什么包括 Demis（Demis Hassabis，DeepMind 创始人）等业内人士，都在公开呼吁建立一套第三方评测的生态系统。
3. 每一个万亿美元产业，都需要一个"审计机构"
主持人追问历史上有没有类似的先例可以参照——评级机构、审计公司之类的。Rayan 认为这些历史经验确实都值得借鉴，但他强调了一个更本质的规律："每当一个新的万亿美元级产业出现时，都会催生对独立测评机构的需求。"AI 行业的发展速度太快，才让这种历史相似性以更急迫的方式暴露出来。
Vals 给自己的定位是同时站在市场的两侧：一边是模型实验室需要证明自己的新模型确实足够强，另一边是企业客户需要弄清楚哪种采用策略才能带来最大的投资回报（ROI）。这种双边定位，也是理解 Vals 商业模式的关键——它既服务于验证方，也服务于决策方。
4. 发布前六小时，谁在通宵测试
对谈转向一个更具体的场景：新模型发布前的六小时窗口期。这段时间里，Vals 需要在不延误模型发布的前提下，跑完数百亿 token 的测试量。主持人好奇，这中间哪些环节是团队在通宵硬扛，哪些已经实现了自动化。
Rayan 坦言这是一个逐步演进的过程。团队一直坚持的北极星目标是：绝不能成为模型发布的滞后指标，或者拖慢发布节奏的因素。这意味着他们必须在极快的时间窗口内，用手头能拿到的速率限制或算力容量，尽可能榨取出更多有效信号。
最早的时候，这项工作的真实样貌，就是 Rayan 和他的联合创始人 Lynx 通宵熬夜，尽可能多地跑完测试、把结果赶在发布前交出去。如今团队规模扩大了，也在基础设施上做了重投入，能够以大规模分布式的方式运行评测，几乎是拿每个能接触到的模型去跑满可能的最高速率限制。
这个过程中还诞生了一个内部系统，团队给它起了个名字叫 Steve——"Steve，这位经济学意义上的 Vals 员工。"Rayan 用这个略带调侃的说法解释，这套系统正是他们逐步把原本需要人工完成的工作，转移到自动化流程中的核心机制。
5. 给人类打分都没搞定，何况给模型打分
主持人提出了一个更深的追问：评测这件事本身，某种意义上是一个"AI 完全问题"（AI-complete problem）——人类至今都没能就"如何评价一个人"达成共识。智商测试、情商、大五人格模型都存在，但没有一套被普遍认可的统一框架。SAT 这类标准化考试也长期饱受争议。而模型又特别擅长"钻空子"（hacking the benchmark），这个问题的边界到底在哪里，Vals 又打算怎么应对？
Rayan 的回答很直接：这个问题正在把大量原本模糊、分散式的评价方式，逼着变得明确具体。他举了个例子——律所里初级律师（associate）和合伙人（partner）之间的区别到底是什么，人类世界里并没有一套清晰的测试或评分标准来量化这件事。Vals 要做的，是先在各种企业场景和真实工作流程里，把这些模糊标准明确下来，才能用同样的方式去测试模型。
他判断，长期来看，这会成为整个评测行业最大的瓶颈：能不能把企业内部的工作流程和邮件往来这类信息，转化成机器可读、可判断的（legible）形式。因为归根结底，这决定了未来模型能力提升该往哪个方向"爬坡"，以及企业到底该在哪些场景里真正采用这些模型。
6. Ben Horowitz：这有点像电影分级制度
Ben Horowitz 接过这个话题，给出了一个颇为生动的类比："这有点让人想起 MPAA（美国电影协会分级制度）——什么是艺术，什么是色情，界限在哪里，什么算 R 级，什么算 X 级。"他补充说，这条界限本身也在随时间变化，过去被划为 X 级的内容，如今可能只算 R 级。什么算 PG，什么算 PG-13，同样如此。这类判断最著名的说法就是"我看一眼就知道"（I know it when I see it）。
Ben 认为模型评测这件事必然会保持一种模糊性，但随着时间推移，行业会逐渐形成一套共识性的规范。如果足够多经营公司、管理财务或者其他关键岗位的人，都认同某个标准是合理的，那它就会成为规范。这和目前大量公开基准测试的运作逻辑正好相反——那种"解决了这个特定问题，就算达到这个水平"的评分方式，本质上存在两个问题：一是容易被针对性攻破（hackable），二是过于狭窄（too narrow），无法反映真实的综合能力。
7. 绝不卖训练数据，这是一条红线
Rayan 提到 Vals 早期就做出的一个关键决定：永远不向模型实验室出售训练数据。这是一个诱惑很大的选择，因为每当 Vals 开始和新的实验室合作，对方往往都希望顺带采购一批训练数据，这是一块极其赚钱的生意（"Yeah, that's a lucrative business"）。但 Rayan 观察到，行业里已经有一批公司靠这套逻辑构建了大量噱头式的基准测试（gimmick style benchmarks），本质上是把测试当成销售数据的入口，这已经成为了它们的一套获客手段（go-to-market）。
他把这件事和审计行业的历史教训联系起来，直接点名了安然事件（Enron）：如果负责审计的机构，同时又给同一家公司提供咨询服务，就会形成利益冲突的激励结构，最终结果就是变成"花钱通过审计"，放在评测行业里，就是"花钱赢得基准测试"。这不是市场真正需要的东西，也不是 Vals 想要成为的角色。
8. 从法律金融到编程，再到"递归自我改进指数"
对话最后，Rayan 简要梳理了 Vals 目前已经建立起的评测目录。在经济价值明确的应用场景里，Vals 做了大量工作。他们的金融智能体基准测试（finance agent benchmark）已经被多家大型金融机构采用，用来判断模型在这个领域的进步节奏。在编程方向，Vals 的 VI codebench 用于衡量模型能否把一段自然语言提示，转化成一个完整的全栈网页应用，过去九个月里，这套基准一直是追踪模型进步的一个关键抓手。
除此之外，团队也在推进一些更实验性的方向。Rayan 特别提到了他们最近发布的递归自我改进指数（Recursive Self-Improvement Index）——这是一个越来越多大型实验室在模型卡片（model card）里提及和讨论的话题，但业界目前缺乏一套共通的语言来衡量模型的"递归自我改进"潜力。Vals 试图建立的，正是一套能让不同模型在这个维度上进行苹果对苹果比较（apples-to-apples）的评测框架。
从 Llama 4 发布时公开榜单与私有测试之间的巨大落差，到"Steve"这套逐步接管人工工作的内部系统，再到把法律事务所里"初级律师与合伙人的区别"这类模糊人类标准明确化的努力，Rayan 描绘的其实是同一件事：当模型能力的进步速度远远超过了人类评价体系的成熟速度，独立、持续演化、且不与任何一方存在利益纠葛的第三方评测机构，正在变成整个万亿美元级 AI 产业不可或缺的一块基础设施。这个问题最初的提法——模型到底是不是真的变强了——目前看来，答案恐怕比任何一张公开榜单上的分数都要复杂得多。