AI实验室都在模型基准测试上押下了自己的声誉——这套本应中立且准确的评估体系，目的是衡量一款AI产品是否优于另一款。
然而，Hugging Face首席政策官艾琳·索莱曼（Irene Solaiman）在上周的TechCrunch Disrupt大会讨论中表示，这些评估背后的方法仍然复杂且尚未成熟。如果业界未来要依赖这些测试，测试本身需要形成一套更加一致的科学体系。
基于这一点，我们能否信任目前发布的这些测试？
“信任是一个相当有分量的词，”索莱曼说。“就能否信任结果而言，一个重要方面是：评估结果是否可以被复现？你是否拥有所需的对模型本身的访问权限——这正是开放权重发挥重要作用的地方，”她补充道。
模型评估中的可复现性问题，一直是基准测试中较为棘手的方面之一，至今仍是业界重大争议的话题。
除了单项测试本身的有效性之外，还存在一个额外问题：该测试与其他评估方法之间如何比较。
“这是一门正在演变中的科学——我们还不知道该如何有意义地将这些评估方法相互比较，”索莱曼说。
“它们会相对较快地失效，而我们现有的评估生态系统也远未达到应有的繁荣程度，”她补充道。“目前业界非常渴望建立一套嵌入式评估者生态系统，但对于谁能在哪些任务上成为有效评估者的资质认定，还需要更多标准化工作。”
嵌入式评估者的概念——即将所谓“中立”的第三方观察者安置在AI机构内部——在过去几个月里逐渐流行起来，原因是AI实验室面临一系列安全事件，引发了人们对其技术潜在危害的担忧。Hugging Face本身就曾是其中一起事件的目标。
与其依靠政府主动监管来识别和缓解模型安全问题，各实验室更倾向于推动第三方解决方案。然而，人们仍然对这些评估者究竟有多中立、多有效存有疑虑。Anthropic聘请埃森哲作为其首位评估者的决定，曾引发不少反对声音，一些批评者甚至嘲讽这家咨询公司是否有资格承担此项任务。
评估工作如今已不仅仅局限于对模型本身的测试，而是扩展到对模型周边整个系统的测试——包括运行环境（harness）和智能体。索莱曼表示，所谓“运行环境”——即用户用来访问模型的工具——实际上在很大程度上决定了模型的表现，一个性能较弱的模型配上更好的运行环境，完全可能超越一个前沿模型的表现。
“针对智能体的评估非常困难，而且成本高昂，”索莱曼说。“目前我们针对模型本身的评估已经比较多了……但针对运行环境的评估还不够多，我们正在为整体智能体开发更好的评估方法——因为这正是许多人真正从中获得价值的地方，”她补充道。
换句话说：目前的评估领域还处于一种相对混乱的状态。如果基准测试要继续被业界领导者视为一种有用的工具，或许需要建立一种更统一、全行业通用的方法，让所有人都遵循同样的标准。
Q&A
Q1：为什么说当前的AI模型评估结果难以让人完全信任？
A：因为评估结果的可复现性存在问题，很多测试难以在不同条件下得出一致结果，而且不同评估方法之间也缺乏统一的比较标准，整个评估科学仍在不断演变中。
Q2：什么是嵌入式评估者？它能解决AI安全问题吗？
A：嵌入式评估者是指被安置在AI机构内部、被认为“中立”的第三方观察者，用于识别和评估模型的安全问题。但目前对于谁有资质担任这一角色，行业内还缺乏足够的标准化规范，效果存疑。
Q3：为什么智能体相关的评估特别困难？
A：因为智能体评估不仅要测试模型本身，还要测试整个系统，包括用户访问模型所用的运行环境（harness）。较弱的模型配合更好的运行环境也可能表现优异，这使得评估变得复杂且成本高昂。
