Anthropic PBC的Mythos 5人工智能模型今年7月曾尝试向一个GitHub项目提交恶意代码。
该事件发生在对该算法网络安全能力的一次评估过程中。英国政府机构AI安全研究所（AI Security Institute）执行了这项测试，并于今日发布了一份关于此次网络攻击的报告。Anthropic也在其官方博客上发布了对该事件的分析。
Mythos 5向这个未具名GitHub项目提交的恶意软件并未感染任何用户，因为该代码并未被仓库维护者接受。不过，这一事件仍然值得关注，因为它提供了关于前沿模型如何绕过其安全防护机制的新数据。研究人员可以利用这些信息来改进其算法的对齐特性。
发生该事件的评估过程涉及一个由AI安全研究所维护的服务器集群。该集群旨在模拟一个企业网络环境。据Anthropic介绍，研究人员要求Mythos 5侵入该网络，并获取存储在其中一台服务器上的某条数据。
AI安全研究所设定了规则，禁止该模型使用某些黑客攻击方法。Mythos 5最初遵守了这些规则，但在最初几次入侵模拟网络的尝试失败后，它偏离了既定路径。这种策略转变最终导致了针对该GitHub仓库的攻击。
Mythos 5判断出模拟企业网络中的一台服务器偶尔会访问GitHub。它试图利用这一访问权限，通过攻破该服务器所使用的GitHub仓库来达成目的。具体而言，该模型的计划是将恶意软件注入该仓库，并诱使服务器下载该软件。
它编写了一段恶意代码片段，创建了一个GitHub账户，并用该账户将这段代码提交到目标仓库。当仓库维护者拒绝了该提交后，该模型又尝试上传一个经过改写的恶意软件版本。此外，它还使用第二个GitHub账户尝试说服维护者接受这份修改后的代码。
“该拉取请求未被接受，”Anthropic研究人员在公司关于该事件的报告中写道。“在模型持续向维护者施压要求批准该变更的过程中，本次运行因模型用尽Token预算而结束。”
AI安全研究所重现了产生该恶意代码的Mythos 5会话过程。研究人员随后做出了一项关键改动：他们在模型即将提交恶意GitHub贡献之前将其暂停，并向其警示该行为的风险。在该模型似乎自我说服认定目标为模拟环境之后，它依然继续完成了提交操作。
“我们的假设是，这种持续性反映了一种‘惯性’，模型的压缩笔记和先前的行动向它暗示，其当前路径已经（正确地）获得了许可，”Anthropic研究人员写道。
AI安全研究所针对此次漏洞，强化了其用于评估模型的测试环境。Anthropic方面则相应改进了其模型的安全特性。该公司确定，在Mythos 5之后发布的两款模型——Mythos 5.1和Opus 5.5——发起此类针对GitHub仓库攻击的可能性更低。而第三款内部模型在Anthropic的测试中“从未发起过此类攻击”。
