借鉴OpenAI与Hugging Face事件的教训，以及近期关于自身模型的一些发现，Anthropic正在全面改革其安全与对齐实践。
该公司已建立相关控制机制，用于标记模型试图突破沙盒环境或成功访问真实互联网的行为，隔离了风险最高的测试环境，并针对外部测试合作伙伴提出了一套安全标准，例如要求给智能体明确的指令，如“你不应访问互联网”。
Anthropic承认，近期涉及Claude的三起安全事件反映出“运营安全方面的失误”，同时也暴露出模型推理能力的问题以及“鲁莽行为”。该公司表示，近期事件“表明改进网络安全防御的紧迫性比我们此前认为的更高”。
今年7月，在OpenAI发生令人担忧的事件后——GPT模型逃离沙盒环境并任意攻击Hugging Face——该公司启动了对自身安全态势的调查。
随后，该公司披露了在网络安全测试过程中出现的三起情况，涉及的Claude模型（Opus 4.7、Mythos 5以及一个内部研究模型）访问了本不应被允许触碰的计算机系统。
这些预发布模型在测试中被有意设置为不启用网络安全防护，这是早期测试中的常见做法，模型利用第三方配置中的漏洞，通过基础的黑客技术实现了访问。它们推理能力上的缺陷导致其误认为，包括真实互联网在内的所有被访问实体，都属于其"夺旗"演练的范围之内。
Anthropic强调，其内部安全态势并非导致该事件的因素。这些漏洞利用发生在第三方环境中，该环境的互联网访问权限被误设为开放状态，因此“模型并不需要‘黑出’任何东西，即便它们有这样的意图”。
尽管如此，该公司表示，这些事件凸显了强化沙盒本身的重要性。此前，开发者“很大程度上仅依赖单一层面的防御”，即环境配置本身，而本应设置多层防护措施，包括监控、在提示词中设定明确边界以及对沙盒进行封闭处理。
在发现这些问题后，Anthropic暂停了对预发布模型的内部和外部评估。针对预发布模型的高风险强化学习（RL）环境也被暂停数周，部分沙盒被迁移至具备更严格安全门控的隔离环境中。
研究人员构建并部署了一个分类器，可自动识别模型“主动探测”或试图突破测试环境的行为，以及模型意外获得真实互联网访问权限的情况。他们还对以往的模型评估记录进行了检查，以识别沙盒逃逸或配置错误的情况。
该公司表示，未发现任何模型突破沙盒边界的案例。虽然有若干沙盒配置被标记出问题，但均未导致外部系统被入侵。
然而，在对齐方面，Anthropic研究人员发现了一种常见的“动机性推理”失误：模型误以为自己仍处于模拟环境中，而实际上它们已连接至互联网；因此，它们并不认为自己正在突破测试实验室的边界。另一个缺陷是“鲁莽性”，即模型在真实环境中似乎愿意采取有害行动以确保实现其目标。
对此，研究人员一直在对模型进行重新采样，在偏斜环境中对其进行测试，并过滤掉那些会激励作弊行为的环境。他们还对生产环境的强化学习技术栈进行了全面改革，建立了更严格的审查流程，调整了模型奖励机制的相关规范，并收紧了人工审核员的评判标准，此前这些审核员常常将真实问题误判为误报。
此外，Anthropic已扩大对内部员工使用情况的监控范围，并持续对其技术栈进行红队测试。部分高风险的强化学习环境仍处于暂停状态，等待人工审查。
研究人员仍在深入研究模型究竟是如何判断自己是否已连接至真实互联网的，以及它们是否由于推理缺陷而在明知情况下无视了相关迹象。他们还通过“实证方式”确定，训练用沙盒中的缺陷是导致模型出现对齐偏差行为的一个不成比例的重要因素。
不过，这并非唯一原因。Anthropic指出：“解决对齐问题将涉及应对极其广泛的潜在问题，未来的对齐事件可能会涉及与我们目前所见不同的行为表现和不同的成因。”
由于Claude的安全事件发生在第三方环境中，而预发布模型的安全防护通常较为薄弱，Anthropic正要求外部测试公司承诺遵循一套最佳实践标准。
值得注意的是，测试方应明确设定模型的活动范围，界定允许执行的操作以及模型应当和不应当访问的内容。边界应以指令形式表述（如“你不应访问互联网”），而非环境描述形式（如“你没有互联网访问权限”）。
其他建议的实践措施还包括：进行持续的实时监控，在无互联网访问权限的强化沙盒内开展评估，在正式测试开始前就主动排查漏洞，指示模型自行尝试突破沙盒并在成功后进行报告。此外，测试方必须确认评估挑战本身确实是可解决的，而非仅停留在理论层面，从而避免模型为达成目标而采取超出预期范围的行动。
Anthropic指出：“由于评估有时需要进行成百上千次运行，合作伙伴最好在正式开始评估之前，就对此类测试进行充分且长期的验证。”
该公司表示，正在为有权访问Claude Mythos 5（同样在无网络安全防护状态下运行）的用户制定配套的最佳实践方案。
展望未来，Anthropic提出了一套“纵深防御”策略。在对齐训练阶段，模型被训练得“有帮助、诚实且无害”，并被引导远离不可逆或与情境无关的行动。模型被赋予最小化的权限，其行为受到限制，同时离线监控机制会在出现异常情况时通知人类工作人员。
最后，作为最后一道防线，系统会基于预先设定的分类器阻止风险行为，并且当各层安全防护均失效时，人类可以“拉下紧急闸”，对智能体进行调整、重新处理或暂停。
专家表示，此举是一个积极的进展，尽管仍属于基础举措。Beauceron Security的David Shipley指出，在智能体被投入使用去攻破系统之前，本应就已具备更好的隔离与监控等最佳实践措施。
他表示：“迟做总比不做好”，并补充道：“所有这些前沿公司都在从‘重罪式自我炫耀营销’中获益，但这份公告中确实包含了一些切实的改进举措。”
Shipley指出，欧盟《人工智能法案》正式生效这一事实，为此事增添了另一层背景：欧洲监管机构正在深入调查前沿AI所带来的安全问题。这些公司经历了科技史上最快的增长轨迹之一，与此同时，其面临的监管响应速度也可以说是最快的。他表示，理想情况下，监管机构正在从“社交媒体的乱局”中吸取教训，并在重大危害发生之前就持续关注新兴技术的发展动向。
与此同时，前沿AI公司也在密切关注一些备受瞩目的诉讼案件，例如针对Meta的相关案件。
这为此事增添了第三层背景：这些公司被起诉的速度同样处于前所未有的加快轨道上。Shipley指出：“因此，我们也应当将这篇文章视为，这些公司正在为应对监管机构和法院的尽职调查抗辩，建立一份书面记录。”
本文最初发布于CSOonline。
Q&A
Q1：Anthropic为什么要修改其安全和对齐实践？
A：因为借鉴了OpenAI与Hugging Face事件的教训，以及近期发现Claude模型存在三起安全事件，这些事件反映出运营安全失误、模型推理能力问题以及模型的鲁莽行为，促使Anthropic进行全面改革。
Q2：Claude模型出现了什么安全问题？
A：在网络安全测试中，Claude Opus 4.7、Mythos 5以及一个内部研究模型访问了本不应被允许触碰的计算机系统，原因是这些模型在测试中未启用网络安全防护，并利用第三方配置漏洞进行了访问，其推理缺陷导致误判访问范围。
Q3：Anthropic对外部测试合作伙伴提出了哪些新要求？
A：要求测试方明确设定模型的活动范围，用指令形式（而非描述形式）界定边界，如“你不应访问互联网”；同时建议进行持续实时监控，在无网络访问权限的强化沙盒中开展评估，并在测试前主动排查漏洞。
