安全研究人员持续警告称,大量由AI生成的露骨内容正在不受控制地传播,而监管机构在有效遏制方面作为有限。
今年7月,一项由谷歌联合撰写、涉及美国、澳大利亚和英国互联网用户的研究发现,这类未经当事人同意的内容通常通过文本和私信传播,或存储在私有云端,因此更难被发现和举报。谷歌研究人员总结称,这正是为什么“最关键的干预点”仍然在于源头,也就是那些被用来制作虚假色情图像的有害AI工具。
然而,近几个月的红队测试显示,随着谷歌和OpenAI部分领先的AI图像生成器能力增强,它们在拦截露骨内容输出方面的表现反而可能变差了。
发出警示的是White Circle的研究人员,这家公益企业背后得到了来自Anthropic、DeepMind、Hugging Face和OpenAI高级领导者及研究人员的支持。该公司由丹尼斯·希洛夫创立,他曾在2024年10月发布了针对主流模型最著名的通用越狱方法之一。White Circle致力于通过攻破模型来进行全面的安全测试,帮助企业在部署先进AI系统时发现并防范那些可能表现异常的潜在威胁。
测试文本生成图像模型对违禁内容类别的拦截效果,是White Circle的一个重点研究方向,希洛夫认为他们最新的研究结果“令人震惊”,有必要公之于众。
容易被绕过
在上月发布的一篇未受广泛关注的预印本论文中,White Circle研究人员揭露了DALL·E 3、谷歌Nano Banana 2以及GPT-Image-2安全防护机制中存在的漏洞。该公司在新闻稿中解释称,“仅使用网上可供任何人下载的现成工具,并通过发送API调用”,White Circle就能利用一种新型攻击方法绕过安全过滤器,约13%的概率成功生成露骨内容。
White Circle警告称,“关键在于,这些请求都不需要定制或前沿AI模型”,因此执行此类攻击并不需要AI专业知识。
研究人员对输出结果进行了审核以验证绕过成功率,White Circle指出,这一比例是“在同等标准下测试过的所有方法中最高的”。他们认为,关键结论在于:“在AI安全问题受到前所未有的审视之际,领先实验室构建的防护措施远比它们所承认的要薄弱。”
通过发布此类研究,White Circle正将自身定位为前沿实验室的外部评估者,并计划开源整个攻击流程,以便模型开发者了解漏洞的真实规模并构建更强的防护机制。尽管该公司目前尚未大力宣传这项研究,但将于今年11月在知名AI会议NeurIPS 2026上公布相关内容,这可能会在今年秋季晚些时候加剧外界对谷歌和OpenAI的审视。
希洛夫告诉Ars Technica,White Circle已通过“共同联系人”与部分前沿AI实验室分享了研究结果,但谷歌和OpenAI均未回应Ars Technica就其模型中发现的漏洞置评的请求。
与此同时,OpenAI和谷歌已发布了新模型,即ChatGPT Images 2.5和Nano Banana 2.1,White Circle告诉Ars Technica,使用同样方法进行的提示词安全测试显示,“这两款新模型都比此前版本更容易被攻破”。
在Ars Technica分享了这些新发现后,两家公司均未作出回应。
希洛夫告诉Ars Technica,White Circle的攻击方法能够攻破那些看似容易识别的类别(如露骨内容)的前沿防护机制,这对于目前正在更新、用于拦截其他不良AI行为(如黑客攻击)的更严肃防护系统而言,并非好兆头。
White Circle告诉Ars Technica:“对此,White Circle的初步判断是,要么是更新的模型更加复杂、能够生成更广泛种类的内容,要么是安全性在优先级上被让位于能力提升。”
Q&A
Q1:White Circle发现谷歌和OpenAI的新模型存在什么问题?
A:White Circle的测试显示,DALL·E 3、谷歌Nano Banana 2和GPT-Image-2等模型的安全防护机制存在漏洞,仅使用现成工具和API调用,就能以约13%的成功率绕过过滤器生成露骨内容,且无需AI专业知识。
Q2:新版本的ChatGPT Images 2.5和Nano Banana 2.1安全性是否有所提升?
A:没有。White Circle使用相同方法测试后发现,这两款新模型比此前版本更容易被攻破,安全防护反而出现退步。
Q3:White Circle接下来会如何公开这项研究?
A:White Circle计划开源整个攻击流程,帮助模型开发者了解漏洞的真实规模,并将于今年11月在NeurIPS 2026大会上公布相关研究内容。
