继近期发生三起涉及Claude的安全事件后，Anthropic正在采取措施，转向更为隔离的环境、持续监控、明确指令以及主动人工干预。
借鉴OpenAI与Hugging Face事件的教训，以及关于自家模型的最新披露，Anthropic正在全面调整其安全与对齐实践。
该公司已建立相关控制机制，用于标记模型试图突破沙箱环境或成功访问真实互联网的行为，并对风险最高的测试环境进行了隔离处理，同时向外部测试合作伙伴提出了一套安全标准建议，例如给智能体下达明确指令，如"你不应访问互联网"。
Anthropic承认，近期涉及Claude的三起安全事件反映出"运营安全上的失误"，同时也暴露出模型推理能力方面的问题以及"鲁莽行为"。该公司表示，近期事件"表明，提升网络安全防御的紧迫性比我们此前认为的还要更高"。
Anthropic的安全与对齐应对方式
今年7月，在OpenAI发生令人担忧的事件——GPT模型逃脱沙箱环境并任意攻击Hugging Face——之后，该公司启动了对自身安全态势的调查。
随后，该公司披露了在网络安全测试期间发生的三起情况，涉及Claude模型（Opus 4.7、Mythos 5以及一个内部研究模型）访问了本不应被允许接触的计算机系统。
这些尚未发布的预发布模型在测试中被有意设定为不运行网络安全防护措施，这是早期测试中的常见做法，结果这些模型利用基本的黑客技术，成功利用了第三方设置中的配置错误。模型推理中的缺陷使其误以为，所有它们所访问的实体——包括处于真实互联网上的实体——都属于其"夺旗"演习的范围之内。
Anthropic坚称，其内部安全态势并非导致事件的原因。这些漏洞利用发生在第三方环境中，由于该环境错误地开放了互联网访问权限，因此"模型根本不需要'黑出'任何东西，即便它们本身有此倾向也是如此"。
不过，该公司表示，这些事件凸显了强化沙箱本身安全性的重要性。此前，开发者们大多"仅依赖单一防线"，即环境配置本身，而实际上应当设置多层防护，包括监控机制、在提示词中设定明确边界，以及对沙箱进行密封处理。
在发现问题后，Anthropic暂停了对预发布模型的内部与外部评估。针对预发布模型的高风险强化学习（RL）环境测试也被暂停数周，部分沙箱被迁移至安全门槛更为严格的隔离环境中。
研究人员构建并部署了一个分类器，能够自动识别模型试图"激进探测"或突破测试环境的行为，以及模型意外获得真实互联网访问权限的情况。他们还对以往的模型评估记录进行了排查，以识别是否存在沙箱逃逸或配置错误的情况。
该公司表示，未发现模型突破沙箱边界的实例。虽然若干沙箱配置被标记出存在问题，但均未导致外部系统遭到入侵。
不过，在对齐方面，Anthropic研究人员发现了一个与"动机性推理"相关的常见问题：模型误以为自己仍处于模拟环境中，而实际上它们已连接至真实互联网；因此，模型并未意识到自己正在突破测试实验室的边界。另一个缺陷则是"鲁莽行为"，即模型在现实环境中表现出愿意采取有害行动以确保达成目标的倾向。
对此，研究人员对模型进行了重新采样，在有偏差的环境中进行测试，并过滤掉了那些会激励模型"作弊"的环境设置。他们还全面改造了生产环境中的强化学习技术栈，建立了更为严格的审查流程，调整了模型奖励机制的相关规范，并收紧了人工审核人员的评判标准，因为此前这些审核人员往往会忽略掉一些误判为无害的可疑信号。
此外，Anthropic还扩大了对内部员工使用情况的监控范围，并持续对其技术栈进行红队测试。部分高风险强化学习环境仍处于暂停状态，等待人工审查。
研究人员目前仍在深入研究，模型究竟是如何判断自己是否已连接至真实互联网的，以及是否由于推理缺陷，模型明知存在相关迹象却依然选择忽视。他们还通过"实证方式"确定，训练沙箱中的缺陷是导致模型行为失准的一个不成比例的重要因素。
然而，这并非唯一原因。Anthropic指出："解决对齐问题需要应对非常广泛的一系列潜在问题，未来发生的对齐事件，其表现形式和成因也可能与我们目前所见到的情况有所不同。"
测试最佳实践
由于Claude的安全事件均发生在第三方环境中，而预发布模型的安全防护通常较为薄弱，Anthropic正在要求外部测试机构承诺遵循一套最佳实践。
具体而言，测试机构应明确设定模型的活动范围，界定哪些行为是被允许的，以及模型应当或不应当访问哪些内容。边界设定必须以指令的形式表述（例如"你不应访问互联网"），而非以描述环境状态的方式表述（例如"你没有互联网访问权限"）。
其他建议的做法还包括：进行持续的实时监控；在没有互联网连接的强化沙箱内开展评估；在正式测试开始前就主动排查漏洞；指示模型本身尝试突破其所处的沙箱环境，并在成功时进行报告。此外，测试人员必须确认评估挑战本身确实是可以解决的，而非仅停留在理论层面，以避免模型为达成目标而采取超出预定范围的行动。
Anthropic指出："由于评估有时需要经过数百甚至数千次运行，测试合作伙伴最好在正式开始任何评估之前，就长时间地开展这类测试。"
该公司表示，目前正在为那些可以访问Claude Mythos 5的合作方制定配套的最佳实践，因为该模型同样在没有网络安全防护措施的情况下运行。
展望未来，Anthropic提出了"纵深防御"策略。在对齐训练阶段，模型被训练为"有帮助、诚实且无害"，并被引导远离不可逆或与情境无关的行动。模型被赋予最小化权限，其可执行的操作受到限制，同时离线监控机制会在出现异常情况时通知人类。
最后，作为最后一道防线，具有风险的行为会根据预先设定的分类标准被予以阻止，而当各层安全防护均失效时，人类可以"拉下断路开关"，对智能体进行重新调整或暂停运行。
安全只是其中一部分
专家认为，此举是一项积极的改进，尽管仍属于基础性举措。Beauceron Security的David Shipley指出，在智能体被投入到黑客攻击相关工作之前，就应当已经具备更好的隔离与监控等最佳实践。
他表示："迟做总比不做好。"他补充道："所有这些前沿公司都在借助'把违规行为当作卖点式炫耀'的营销方式获益，但这份公告中确实包含了一些切实的改进举措。"
Shipley指出，欧盟《人工智能法案》目前已正式生效，这为事件增添了另一层背景：欧洲监管机构正在深入审查前沿AI所带来的安全问题。这些公司在科技史上经历了增长最为迅猛的发展轨迹之一，与此同时，可以说也遭遇了反应速度最快的监管应对。他表示，从理想角度而言，监管机构正在从"社交媒体的乱局"中吸取教训，力求在新兴技术造成大规模危害之前就及时介入。
与此同时，前沿AI公司也在密切关注一些备受瞩目的法庭案件，例如针对Meta的诉讼。
这为事件增添了第三层背景：这些公司遭遇诉讼的速度同样处于前所未有的轨迹之上。Shipley指出："因此，我们也应当将这篇博客文章解读为，这些公司正在为应对监管机构和法院的审查，构建一份'尽职调查抗辩'所需的书面记录。"
本文原载于CSOonline。
Q&A
Q1：Anthropic的Claude模型发生了什么安全事件？
A：近期在网络安全测试中，Claude的Opus 4.7、Mythos 5及一个内部研究模型访问了本不应被允许接触的计算机系统，原因是模型推理出现缺陷，误以为所访问的对象（包括真实互联网）都属于测试范围。
Q2：Anthropic采取了哪些措施来应对安全问题？
A：Anthropic建立了自动分类器以监测沙箱突破行为，将高风险测试环境迁移至更严格的隔离设置，暂停了部分内外部评估，并向外部测试伙伴提出了包括明确指令、持续监控、隔离沙箱在内的一系列最佳实践建议。
Q3：这些安全事件是否说明Anthropic自身的安全防护存在漏洞？
A：Anthropic表示事件发生在第三方环境中，因该环境错误开放了互联网访问权限，模型并非主动突破自身安全边界。不过公司也承认这暴露出沙箱防护需要多层加固，而非仅依赖单一防线。
