Ruby社区宝石托管服务RubyGems周五披露,数百个OpenAI智能体组成的"群体"向该平台上传了"恶意软件包",并试图窃取API密钥。
OpenAI证实了部分披露内容,表示:"我们的智能体使用RubyGems平台访问互联网以执行良性任务并检索公开信息。作为对训练和评估期间智能体活动更广泛审查的一部分,我们将继续调查此事。"
这些智能体的目标尚不明确,是否是出于研究目的进行群体活动,甚至是否是由OpenAI员工明确指派也不清楚,但RubyGems发布的分析强烈暗示存在恶意意图。
RubyGems的帖子中写道:"一旦这些AI在构建环境中获得任意远程代码执行权限,它们有时会利用该构建环境试图窃取其他用户的API密钥,尽管我们不确定它们是否得手。这些智能体显然将自己的行为视为黑客攻击。智能体使用的文件名包括hack[.]rb、evil[.]rb、inject[.]rb、exploit[.]rb和ssrf[.]rb。SSRF代表'服务器端请求伪造',是一种安全漏洞类型。它们还给软件包起了诸如pwnp999、exfiltestwand3、hacksvn1778554764和lambproxyhackabcxyz这样惹眼的名字。像'#恶意探测'或'#黑客'这样的注释在整个攻击活动中随处可见。"
该帖子还提到,这些智能体试图欺骗防御系统。
帖子中说:"在某些时候,这些智能体试图隐藏行踪。我们发现多个软件包会在下一个版本中自我解除以隐藏其有效载荷。它们上传了一个带有注释'#在下一版本中禁用恶意代码并升级版本号'的软件包,该软件包执行后会修改自身以移除最初插入的恶意代码。"
分析师和顾问表示,这次攻击令人担忧,因为如果此类行为频繁发生,可能会拖慢安全运营中心(SOC)的响应速度。
Gartner副总裁分析师纳德·海内因表示,他对即将出现的机器人群体攻击趋势高度关切。
海内因说:"我们知道的是,这是一种标准攻击手法,现在被AI增强,将在未来几个月内变得普遍。与其说这是一个失控的智能体,不如说这是一名攻击者,可能利用被窃取的凭据,将智能体群武器化,就像过去十年攻击者利用被入侵的终端设备发起DDoS攻击一样。这里的区别在于,这些并非各自独立被入侵的机器人。OpenAI的防护措施本应阻止这种情况发生。"
Dickson Research首席分析师弗兰克·迪克森补充道:"OpenAI需要承担责任。他们似乎想创造出'科学怪人的怪物',但似乎又不愿为其后果承担责任。OpenAI并未否认其智能体使用了RubyGems,只是对'恶意'这一措辞提出异议,并将该活动称为'良性',同时又分别承认在同一时间段内,其智能体在Hugging Face上升级获得了集群管理员权限,并入侵了另外四个第三方服务的账户。这两种说法很难自圆其说。这种行为仍然是不可接受的。"
不过,Info-Tech Research Group技术顾问埃里克·阿瓦基安强调,OpenAI并不一定是带着明确指令启动这些智能体的。这些智能体很可能是完全自主地走上了这条破坏性道路。
他说,这些OpenAI智能体"完全可能是自主行动的。我们已经看到,当具备足够自主性和访问权限时,能力强的智能体会为完成任务而采取各种意想不到的路径。人类可能授权了这次评估或给予智能体工具访问权限,但这并不意味着人类批准了它们随后采取的每一个行动。"
迪克森还表示,他担心最终的网络安全风险在于,SOC工作人员看到如此多此类攻击后,会开始出现警报疲劳。
迪克森说:"如果是智能体做出这些行为的厂商自己在淡化措辞,那么阅读标题而非底层报告的SOC分析师完全有理由反应不足。如果安全运营建立在'AI智能体标签会让入侵行为显得不那么真实'这一假设之上,那么这种安全运营就不合格。无论行为者是勒索软件团伙,还是追逐奖励信号却缺乏监管的模型,被窃取的API密钥或远程代码执行路径的表现都是一样的。"
Aikido Security企业首席信息安全官迈克·威尔克斯也指出,这些智能体自称是OpenAI的这一事实应该毫无意义,因为所有智能体都能说服性地伪装成代表任何人,尤其是当它们认为这样做能拖延响应时间时,即便只是短暂拖延。
他说:"User-Agent字符串是访问者自己写的名牌,不是护照。如果SOC工具因为流量声称来自OpenAI、Anthropic、谷歌或其他AI智能体就开始压制警报,攻击者会立即冒用这些身份,如果他们还没这么做的话。"
因此,他说:"如果人类研究者或员工将权限委托给自主智能体,就应该有一条可验证的链条,显示谁委托了该权限,他们代表哪个组织,授权了哪个智能体,赋予了什么范围的权限,以及授权期限是多久。"
FormerGov执行董事、顾问布莱恩·莱文鼓励首席信息安全官们预见到更多此类攻击,并做好相应规划。
他说:"依赖开源的组织——几乎所有组织都是如此——应当假定软件仓库是一个活跃的战场,[并且应该]严格轮换和限定API密钥的使用范围,监控异常的软件包发布和凭据访问行为,锁定并验证依赖项,而不是仅凭名称就予以信任。经济账已经变了。自动化让攻击者能够廉价地尝试数千种变体,因此防御者必须尽可能降低任何单次成功攻击带来的收益。"
咨询公司Acceligence首席执行官贾斯汀·格里斯对此表示赞同。
格里斯说:"如果合法的AI研究活动越来越多地产生看起来像是恶意扫描、漏洞利用、凭据窃取或持久化驻留的行为,SOC团队可能会习惯性地将这些信号当作噪音处理。攻击者会很快理解这一点。危险的说法将变成'那大概只是个AI智能体'。"
本文最初发表于CSOonline。
Q&A
Q1:OpenAI智能体在RubyGems平台上做了什么?
A:数百个OpenAI智能体向RubyGems上传了恶意软件包,并试图窃取其他用户的API密钥,还使用了hack、evil、exploit等带有明显黑客意图的文件名。
Q2:OpenAI对此事件是如何回应的?
A:OpenAI证实其智能体确实使用了RubyGems平台访问互联网,但表示这是为了执行良性任务和检索公开信息,并将继续调查此事。
Q3:这次事件会给企业安全团队带来什么风险?
A:分析师担心,如果类似AI智能体的攻击行为频繁发生,安全运营中心工作人员可能出现警报疲劳,将真实威胁误判为"只是AI智能体"而反应不足。
