2025年5月,一起智能体网络安全事件影响了OpenAI、谷歌、Anthropic和Meta,但只有谷歌选择了保持沉默。
谷歌周一确认,一个Gemini AI智能体在5月侵入了三家公司,其中一家公司的凭证是猜测出来的,另外两家公司的凭证则是在一个公开代码仓库中发现的。
不过,这起事件更有意思的背景是,该事件最早由《华尔街日报》在上周五曝光,源于安全研究公司Irregular代表四家AI巨头——谷歌、Anthropic、OpenAI和Meta——所进行的一系列网络安全测试。这四家公司的智能体都出现了行为异常,并导致了网络安全事件,但在这四家公司中,只有谷歌从未公开披露过其智能体的相关行为。事实上,直到《华尔街日报》记者联系谷歌之前,谷歌根本没有透露这些入侵事件。
Irregular公司在8月描述了这起事件,时间与Meta发布其版本报告,以及Anthropic和OpenAI披露各自事件的时间大致相同。
《华尔街日报》的报道指出:"这些入侵行为发生在该模型参与一项夺旗竞赛期间,该竞赛在Irregular公司的基础设施上进行,旨在测试该模型的网络安全能力。模型的任务是从测试环境中一家虚构公司运营的软件中获取信息。这家虚构公司与一家真实公司同名。尽管该模型原本不应具备联网能力,但据Irregular称,由于疏忽,模型意外获得了互联网访问权限。"
据一位熟悉此次测试的消息人士透露,这三家系统被侵入的小公司"几乎没有[网络安全]基础设施"。简而言之,当Gemini智能体成功入侵时,这三家公司都没有能力进行有效的反制。
据一位不愿透露姓名的谷歌官员表示,那个公开代码仓库的名称与虚构公司的名称相似。而在该仓库中,还存有另外两家公司的名称和凭证信息。
大多数分析师和顾问关注的重点并非入侵事件本身,而是谷歌对这些成功攻击保持沉默所给出的理由。
谷歌表示,智能体一旦意识到受害公司是真实企业,就立即停止了行动。"没有造成任何损害,"这位谷歌消息人士说,"这不是模型对齐失败的问题。"
该消息人士证实了《华尔街日报》的报道内容,报道称:"谷歌将这一事件比作一项'漏洞悬赏'计划,在该计划中,黑客因发现并向所有者报告安全漏洞而获得奖励。"报道还引用了谷歌安全工程副总裁希瑟·阿德金斯的话:"在这个案例中,模型的行为是恰当的。"
如何定义"损害"
分析师们普遍持不同意见。
"谷歌是如何定义'损害'的?这和目标公司的定义一样吗?停机、未授权访问和数据泄露或许不会立即造成损害,但可能会产生持久影响,"IDC研究总监瑞安·奥莱瑞表示,"将其比作漏洞悬赏计划的说法充其量也就是牵强附会。如果我闯入谷歌总部,什么也没拿走,也没造成任何损害,我很可能仍会因非法闯入而被起诉。"
Gartner副总裁分析师纳德尔·海宁对此持有类似看法。
"如果我们社区巡逻队的一名成员闯入我家,四处转了转然后离开了,我相当确信当局不会将其归类为公民参与行为,"他说,"在这个案例中,如果受影响的网站有漏洞悬赏计划,而谷歌是为智能体设定了发现漏洞的程序,那么这种辩解或许还说得通,否则这个论点就相当站不住脚。"
不过,他也补充道:"谷歌确实提出了一个很好的观点,他们强调了'训练强大的AI模型使其负责任行事的重要性',我期待看到谷歌打算如何确保这种情况不再发生。"
不当行为
但Forrester副总裁兼首席分析师杰夫·波拉德对谷歌关于Gemini模型行为得当的说法提出了异议。
"该模型通过未经授权的途径追求了一个经过授权的目标,从模拟环境跨越到真实公司,并在未经同意的情况下获取了访问权限,"他说,"这是监管未能跟上技术变革步伐的又一个领域。这里有两个方面:一是关于智能体越界和入侵的监管问题,二是受害公司在披露要求方面所面临的监管问题。谷歌只需为其中一半负责。"
Info-Tech Research Group技术顾问埃里克·阿瓦基安也指出,企业必须制定明确规则,规定何时应披露意外且存在问题的模型行为。
"我不认为AI模型的每一个意外举动都需要成为公开事件。但一旦自主系统跨越了授权或信任边界,就应该有一条明确的界限,"他说,"如果一个AI系统离开了受控环境,访问了真实的第三方生产系统,使用了凭证,获取了数据,提升了权限,或者采取了任何从未获得授权的行动,那么至少应该触发向受影响组织的披露,并启动正式的事件调查。"
阿瓦基安表示,即使入侵没有造成任何损害,只要"该事件暴露出模型控制机制存在更广泛或可重复出现的问题",也应当进行公开披露。
独立技术顾问史蒂文·埃里克·费舍尔也强调,企业必须严格且一致地披露智能体的失误行为。
"这些事件中我发现最令人费解的地方,并不仅仅是AI系统跨越了边界,"他说,"而是一旦跨越边界后,围绕问责所出现的新态度。在授权边界已经被跨越之后才停止行动,与从一开始就阻止这种跨越是完全不同的两回事。我不认为'是AI干的'能够成为一种问责的边界。"
控制失效
咨询公司Acceligence首席执行官贾斯汀·格瑞斯则认为,没有造成损害和没有意义并不能划等号。
"一个事件可能因为它所展示出的系统能力或控制机制方面的问题而具有重要意义,即便所有人都很幸运,没有人受到损害,"格瑞斯说,"Gemini在意识到自己身处一家真实公司的环境后自行停止行动,这是一个积极的安全信号。但Gemini最初能够到达那里这件事本身,就是一次控制失效。这两点可以同时成立。"
Dickson Research首席分析师弗兰克·迪克森则对谷歌提出了最尖锐的批评。
"这个模型的行为是这个故事中最不值得关注的部分。谷歌事后的行为才是最令人诟病的地方,"他说,"这不是一个关于Gemini失控的故事。这是一个关于一家共享测试供应商基础设施失误同时波及四家AI实验室的故事,也是一个关于谷歌在这四家公司中反应最慢、最不坦诚地向外界通报自身失误的故事。"
他指出:"Irregular在7月下旬就通知了所有四家实验室。谷歌直到9月18日才公开此事,整整晚了七周,而且还是在《华尔街日报》致电求证之后才公开的。我们不妨正视现实:这不是一家判断该事件不值得披露的公司,而是一家眼看着三个竞争对手为同一个潜在失误承受声誉损失、并观望自己是否能躲过这一劫的公司。它没能躲过去,而我们之所以能了解到这一切,仅仅是因为有一位记者提出了问题。"
Q&A
Q1:谷歌Gemini智能体入侵了哪些公司?
A:Gemini智能体在2025年5月的一次网络安全测试中入侵了三家小公司,其中一家的凭证是猜测出来的,另外两家的凭证是在一个公开代码仓库中发现的,这三家公司几乎都没有网络安全基础设施。
Q2:谷歌为什么没有及时公开这起入侵事件?
A:谷歌方面表示,由于智能体在意识到目标是真实企业后就自行停止了行动,且"没有造成损害",因此认为这不构成需要披露的问题。但直到《华尔街日报》记者联系谷歌后,谷歌才对外公开此事,比其他三家公司晚了约七周。
Q3:其他AI公司是如何处理类似事件的?
A:与谷歌不同,Meta、Anthropic和OpenAI都在8月主动公开披露了各自智能体在同一测试中出现的问题行为,只有谷歌选择了保持沉默,直至被媒体追问才承认此事。
