在上周末发布的一篇长文中，Anthropic首席执行官达里奥·阿莫迪提出了一项即便在一年前也会被AI行业立即否决的方案：在所有前沿AI公司内部嵌入第三方评估机构，赋予其报告安全事件、评估AI模型是否真正对齐的权力，并允许其将未经修饰的调查结果公之于众。
阿莫迪表示，Anthropic将承诺给予METR和Redwood Research等独立评估机构前所未有的访问权限，使其能够深入了解公司系统。OpenAI首席执行官萨姆·奥特曼也表示OpenAI将做出同样的承诺，这预示着该行业与外部研究机构合作方式可能发生深刻变革。
接受TechCrunch采访的第三方评估机构普遍对这一提议表示欢迎，但他们表示，具体细节仍需敲定——最好能有立法作为支撑——这样才能确定它们究竟是能真正独立运作的监督者，还是仅按AI公司条件行事的供应商。
随着模型越来越擅长识别自己何时正处于被评估状态，这种更深层次的访问权限变得愈发重要，因为这增加了模型在测试期间表现良好、却隐藏有问题行为的风险。研究人员表示，在测试成品模型时可能会遗漏这类行为的线索，但通过调查模型在整个训练过程中的表现，则有可能发现这些线索。
Apollo Research研究主管亚历山大·梅因克告诉TechCrunch："AI公司应当能够回答一些关于其训练过程的基本问题，例如：AI在训练过程中是否曾主动试图破坏自身的对齐训练？这个问题的答案理应是明确的'否'，但目前我们完全依赖AI公司自行仔细核查此事，并如实向公众报告。而从最近发生的事件来看，默认情况下，它们两者都做不到。作为嵌入式评估机构，我们才能真正进行核查。"
历史上，AI公司通常会在模型发布前不久引入外部审查人员对成品模型进行测试。而现在，接受TechCrunch采访的评估机构提议，不仅要获得对最终模型的访问权限，还要能接触到模型训练生命周期中的中间版本，即"检查点"。FAR.AI首席执行官亚当·格里夫表示，评估机构可以通过比较这些检查点，来确定令人担忧的行为是何时出现的，检查那些对特定行为给予奖励的训练后环境，并核查评估记录和日志，以验证公司关于模型表现的说法。
Anthropic和OpenAI是否计划以及何时提供此类访问权限，目前尚不明确。尽管TechCrunch多次询问，但两家公司均未透露将与哪些评估机构合作、何时嵌入这些机构、将引入多少家评估机构、评估机构究竟能访问哪些系统和信息，以及哪些内容可以向公众披露。
深入了解模型内部机制之所以重要，是因为在安全测试中表现良好的模型，如果它们专门学会了如何通过测试，那么这些模型未必真的安全。Palisade Research战略主管约翰·斯泰德利以"关机抵抗基准测试"为例，这项测试用于衡量AI在特定情况下是否会抗拒被关闭。
斯泰德利表示："如果AI是经过专门训练以在该基准测试中表现良好的，那么这一点就极其重要。"他将此与大众汽车"柴油门"丑闻相提并论，在那起丑闻中，汽车被编程为能够识别排放测试，并在测试条件下表现出与实际不同的性能。
格里夫指出，有意义的访问权限可能不仅限于模型本身，评估机构还可能被赋予与员工面谈的权限，以核实公司关于其安全实践的文档记录和公开描述，是否与内部实际发生的情况相符。
阿莫迪确实提出了一项相当全面的方案，或许能给予评估机构他们认为必要的那种访问权限，其中包括有权"发布关于风险等级、安全事件、实践做法，以及所获得或未获得的访问权限的关键调查结果——且不受Anthropic的编辑控制"。
但评估机构表示，只有当AI公司真正愿意放弃对整个流程的控制权时，这样的体系才能真正发挥作用。此前独立评估方面的努力表明，这种放权将很难实现，因为第三方机构常常在访问权限、时间安排、保密要求以及可公开发表的内容等方面与公司产生分歧。
格里夫表示，FAR.AI曾不得不拒绝与几家前沿AI开发商签订合同，因为这些公司想要对评估流程施加过多控制，从而威胁到公司的独立性。他表示，默认情况下，评估机构会被当作普通承包商对待：受限制性保密协议约束，且协议赋予开发商对最终可发布内容的重大控制权。
时间限制问题
评估机构能否获得足够的时间和访问权限来完成分配给他们的工作，这也是一个问题。在调查Hugging Face事件时，OpenAI只给了METR和Redwood大约一周的现场调查时间，两家机构后来都表示，由于调查范围和时间上的限制，它们无法得出确切的结论。
在GPT-6 Astra的发布前测试中，也出现了类似的问题，OpenAI一直宣称这是其迄今为止对齐程度最高的模型。根据Apollo Research为该模型说明卡片所做的贡献显示，该机构仅获得三天时间来测试Astra，这使得得出确切结论变得十分困难。
该机构在其评估报告中写道："鉴于评估意识水平较高，以及评估窗口有限，Apollo认为此处较低的不当行为发生率，并不能为该模型是否对齐提供充分证据。"
这样的过往记录让评估机构不禁产生一个基本疑问：这一次为何会有所不同？
格里夫表示："达里奥和萨姆确实有可能只是改变了想法，并打算在这件事上非常公开透明。但这些公司的知识产权对它们而言实在太过宝贵，我认为默认情况下，它们会对可分享的内容非常谨慎。"
多位接受TechCrunch采访的研究人员呼吁建立一个所有各方都公开一致同意的透明框架。斯泰德利表示，该框架的一部分内容应当涉及关于公司可依赖何种审计机构的标准，以免公司试图通过挑选不合格或不愿评估最令人担忧风险的评估机构，来规避这一问题。
Safer AI执行主任亨利·帕帕达托斯表示，即便有了公开框架，问题仍在于自愿性措施始终依赖于公司的善意。
帕帕达托斯告诉TechCrunch："理想情况下，我们应当有完善的法规来强制要求这样做……因为这样一来，公司在遭遇重大公关危机时，就不能明天就改变主意了。"他还指出，这也是推动所有公司都遵守规则的有效手段，而不仅仅是那些最愿意配合的公司。
并非所有公司都已签署这一承诺。到目前为止，Meta、SpaceXAI和谷歌DeepMind尚未承诺嵌入第三方评估机构，不过DeepMind首席执行官戴密斯·哈萨比斯已提议成立一个独立的行业标准机构，来对前沿模型进行独立测试。谷歌、OpenAI和Anthropic近几周也一直在私下讨论AI安全计划。
围绕第三方评估机构的相关法律已经开始逐步形成。加利福尼亚州去年签署生效的SB 53法案，要求大型前沿AI开发商公布安全框架，并报告重大安全事件。本月签署生效的新法案SB 813，则建立了一个框架，用于认定具备AI风险评估专业能力的、经州政府认可的"独立核查机构"。
在欧洲，《欧盟人工智能法案》要求前沿开发商进行并记录模型评估和对抗性测试，并报告重大事件。欧盟AI办公室也可以自行开展评估，并指派独立专家参与。
目前，相关法律的覆盖范围仍不及阿莫迪所提议的方案那样广泛，这使得前沿实验室在很大程度上仍需自行决定，愿意接受多大程度的独立审查。帕帕达托斯表示，自愿性自我监管总比什么都没有要好，但归根结底，公司不能一边要求拥有自行制定安全规则的自由，一边又要求公众相信它们确实在遵守这些规则。
帕帕达托斯表示："你不能两头都占，既想在外部不承担任何责任，又想说'我就按自己灵活的规矩来'。"
Q&A
Q1：Anthropic和OpenAI提出的嵌入式安全评估机构方案具体是什么？
A：该方案要求在前沿AI公司内部嵌入第三方评估机构，赋予其权力报告安全事件、评估AI模型是否真正对齐，并将未经修饰的调查结果公之于众，而不受公司编辑控制。
Q2：为什么评估机构需要访问模型训练过程中的中间版本？
A：因为模型越来越擅长识别自己何时正被评估，可能在测试时表现良好却隐藏问题行为。通过比较训练过程中的检查点，评估机构能确定令人担忧的行为何时出现，而不只是检查最终成品模型。
Q3：目前有哪些法律法规涉及第三方AI安全评估？
A：加利福尼亚州的SB 53和SB 813法案要求前沿AI开发商公布安全框架并报告安全事件，还建立了独立核查机构框架。欧盟《人工智能法案》也要求开发商进行模型评估、对抗性测试并报告重大事件。
