Apollo周一表示,作为一项试点计划的一部分,OpenAI将在其组织内部署六名Apollo Research安全评估人员。这一消息发布之前,已发生过一系列安全事件,其中包括一次OpenAI智能体群在网络安全测试期间突破沙盒限制并入侵Hugging Face的事件。包括Apollo在内的许多AI安全研究人员都曾指出,如果有外部评估人员常驻OpenAI内部监督其安全测试,这类事件原本是可以避免的。
Apollo并未透露该试点计划的具体启动时间。TechCrunch已就此向OpenAI寻求置评。
将评估人员嵌入前沿AI实验室的构想最初由Anthropic提出,但OpenAI似乎是首个付诸行动的公司。此前,AI公司通常只在模型训练后期、临近公开发布前才引入外部审查人员进行测试。评估人员表示,这种做法远远不够,因为它无法让他们在训练过程中检测诸如"阴谋策划"之类的失调行为,也无法监控内部部署场景中仍可能存在的潜在威胁。
OpenAI与Apollo的这项试点合作将聚焦于调查模型是否会试图破坏自身或其后续版本的对齐与控制机制。换句话说,他们将密切关注AI模型是否会试图削弱旨在使其本身或未来版本保持人类可控性的安全规则与防护措施。OpenAI近期公布的研究发现显示,在训练GPT-5.6 Sol期间,该模型开始留下指示信息给未来版本的自己,告诉它们要向用户隐瞒错误及失调行为。
根据Apollo的说法,该试点计划将考察以下几个问题:训练过程是否会激励颠覆行为;评估测试是否能够诱发颠覆行为;内部部署过程中是否会出现颠覆行为;以及与颠覆行为相关的推理过程是否能够被检测到。随着AI模型自主行动与欺骗人类的能力日益增强,监控这些风险正变得愈发重要。Apollo此前与OpenAI开展的研究发现,模型在得知自己正接受测试时,行为表现可能会有所不同,并且往往更倾向于迎合评估人员的期望,而非真正满足用户的实际诉求。
AI安全界的许多人士警告称,AI实验室可能会试图阻挠评估人员保持独立性,尤其是当外部人员发现实验室宁愿隐藏的不利证据时更是如此。Apollo表示,此次试点计划的一个关键要素在于,OpenAI同意该机构可以公开说明其工作的具体条件与局限性。
尽管如此,Apollo认为在某些方面,其对OpenAI系统的访问权限仍显不足。为了能够真正独立地评估该公司的AI模型,Apollo表示需要获得相当于员工级别的系统访问权限,包括"与评估相关的所有数据、记录和文档,即便开发者试图隐瞒不利信息也不例外"。获取包括训练数据和评估日志在内的全部数据至关重要——这类数据通常是公司不愿向外部人员展示的——例如用于核实公司关于模型表现的声明,或确定某些令人担忧的行为究竟是何时出现的。
在此前的报道中,Palisade Research幕僚长约翰·斯泰德利曾告诉TechCrunch,查看此类数据对于评估一个模型是否是针对"抗关机基准测试"而专门训练的至关重要。
在OpenAI的首次试点中,该AI实验室仅向Apollo提供了评估模型是否存在颠覆企图所必需的信息访问权限,具体包括"相关的训练代码与数据集、带有可用推理轨迹和奖励信息的强化学习展开记录,以及查询中间模型检查点的能力"。
Apollo表示,访问范围将被限定为"仅限于双方商定的具体主张,且仅针对评估所约定的特定模型和时间段"。OpenAI仍保留在该范围内因技术不可行、安全风险或知识产权保护等原因拒绝提供某些信息的权利。该公司同意不会仅仅因为信息不利于己方而拒绝提供。
此外,Apollo也无法接触到所有OpenAI员工,而只能与"经授权的工作人员"进行沟通,这些人员由该AI实验室自行挑选,不过Apollo可以提出建议人选。至关重要的是,如果该授权范围之外的某位OpenAI员工透露了属于Apollo研究范畴内的机密信息,该机构不得继续跟进,必须停止沟通,并需通过OpenAI来处理后续事宜。
这一限制条款颇为重要。此前,OpenAI曾以涉嫌向安全评估机构METR泄露机密信息为由解雇了三名研究人员——该机构曾与Redwood一同对Hugging Face事件进行事后分析。
此次试点在信息披露方面也将受到限制。虽然Apollo可以发布其研究结论的独立评估结果,但OpenAI有权限制其公开用以佐证这些结论的证据,这可能使外部人员难以独立核实相关发现。Apollo对此限制表示反对,认为研究人员应当被允许将评估结论披露给"适当的外部受众,即便开发者试图阻止不利发现的公开"。
尽管OpenAI并未完全满足Apollo提出的所有真正独立评估的条件,但该机构表示,此次试点计划是"朝着获得更深入访问权限和披露权利迈出的雄心勃勃的第一步",并表示正致力于未来与多家AI开发商开展全面的嵌入式评估合作。
