OpenAI近日宣布推出一款新工具,旨在帮助儿童性虐待调查人员在海量内容中快速筛选出需要处理的有害材料。
在周一于华盛顿特区举行的新闻发布会上,OpenAI公布了一款分类器,称其能够更准确地识别针对儿童的虐待性图像,包括判断该图像是否由AI生成。该公司还表示,将向经过审核的相关机构提供免费使用权限,为开发者提供更多检测此类内容的指导,并协助培训执法人员了解如何利用AI技术辅助调查工作。这一消息发布之际,政策制定者及其他相关方正在推动对AI工具实施更严格的安全限制,并指责OpenAI及其他公司在助长对儿童的伤害行为。
近年来,AI生成的儿童性虐待图像数量激增,已经威胁到诸如美国国家失踪与受虐儿童中心(NCMEC)举报热线系统等机构的正常运转——该系统负责收集和分级处理儿童性虐待材料(CSAM)的举报。该举报热线在2025年共收到40万份与生成式AI相关的举报,相比2024年的6.7万份呈指数级增长,研究人员警告称,这种激增可能会使NCMEC的工作量达到“难以承受”的程度。美国政府已明确表示,无论是否由AI生成,儿童性虐待材料均属违法,目前已有48个州出台相关法律以应对AI深度伪造的色情内容问题。但制作这类内容的工具却广泛易得,研究人员指出,大量虚假图像的泛滥会使判断儿童是否正在遭受真实伤害变得更加困难。
流向NCMEC的AI生成CSAM举报数量“呈爆炸式增长”
北卡罗来纳州总检察长杰夫·杰克逊(Jeff Jackson)是各州总检察长联盟AI工作组的联席主席,他在OpenAI的发布会上表示,流向NCMEC的AI生成CSAM举报数量“呈爆炸式增长”——如果这一趋势持续下去,“将意味着我们的使命将无法完成”。科技公司目前面临一系列政策提案,这些提案可能要求它们采取更多行动来打击CSAM以及其他可能对儿童造成伤害的内容。《下架法案》(Take It Down Act)现已要求社交媒体平台在48小时内删除真实或AI生成的非自愿色情图像,而新当选的国会可能会寻求对诸如SpaceX旗下SI公司等AI企业采取更强硬的措施,该公司的Grok聊天机器人今年早些时候曾出现大量生成裸露图像的行为。上个月,八个州对OpenAI提起诉讼,指控其对儿童造成另一系列损害,相关诉讼指控ChatGPT曾鼓励非法使用违禁物质及自杀行为。
OpenAI表示,其分类器大幅减少了误报率,误报图像数量减少了48%,同时其识别出的图像包含虐待性内容的可能性是原来的两倍。该分类器的设计目标是识别由多种工具(包括开源模型和“去衣”类应用程序)生成的虐待性AI图像。OpenAI负责儿童安全公共政策的负责人约翰·巴克利(John Buckley)在发布会上表示,这也是首个获得广泛应用、且专门针对AI生成材料设置标记功能的CSAM分类器。“对于整个行业而言,能够区分图像中是虚构儿童还是真实儿童非常重要,”巴克利补充道,“这种分级判断在执法举报流程中至关重要。”不过他也强调,相关法律应当认识到AI生成CSAM本身所带来的危害:“这种内容可能会侵蚀社会对侵害儿童行为的道德规范认知,而且它经常与涉及真实儿童的性虐待图像同时出现,”巴克利说道。
OpenAI表示其分类器大幅减少了误报率,误报图像数量减少了48%
OpenAI自身的ChatGPT图像生成器设计上会拒绝用户生成CSAM的请求。现在,当用户尝试生成此类内容时,系统将显示一条基于专家指导开发的新警告信息,旨在引导其寻求帮助。首次违规将触发24小时的ChatGPT访问禁令,并警告用户其账户可能被永久关闭,同时系统会提供相关支持资源以帮助其改变这种行为。OpenAI表示,公司会向NCMEC“报告所有CSAM相关事件”。巴克利在一份声明中解释称,24小时暂停访问的设置依据专家建议的最佳实践,“以及国际上关于如何有效预防和应对CSAM寻求行为与CSAM生成行为的相关证据”。其目的在于“打断有害行为,并引导相关人员寻求专业帮助以制止该行为”。
杰克逊表示,北卡罗来纳州及许多其他州现已出台覆盖合成CSAM内容的相关法律,但与OpenAI这样的科技公司合作以遏制此类内容的生成,对于这一新兴问题而言属于相当新颖的应对方式。“各州总检察长的大部分工作是事后问责,”他在发布会上对记者表示,“我们的司法管辖权大多在伤害发生之后才会介入,用以追究相关人员的责任。但在这件事上,我们希望看看能否建立一种合作模式来预防伤害的发生。我得说,这目前基本上仍属于一次尝试性探索。”
