谷歌于近日关闭了一项刚刚发布的谷歌 Earth 新功能——该功能允许用户通过文字提示词,利用 AI 对卫星图像进行编辑修改。这一工具本质上让用户能够借助文字指令,对真实世界的卫星图像生成 AI 深度伪造内容。
数字调查机构 Digital Digging 的研究员 Henk van Ess 就对此功能进行了专项测试,故意生成了一系列问题图像,包括在墨西哥边境附近添加难民的画面,以及在加沙一家医院旁伪造炸弹坑的图像。功能上线当天,谷歌对 van Ess 的测试回应称,通过谷歌 Earth 中的 Nano Banana 2 模型生成的图像均附有数字水印,且平台已屏蔽"涉及有害主题的图像创建"。
然而,仅仅一天之后,谷歌便发表了新声明:"我们深知用户对谷歌 Earth 所提供的真实世界视图有着高度信任。我们注意到地理空间领域的专业人士正在将此功能用于多种实用场景,但与此同时,我们也观察到部分用户正在分享疑似违反平台政策的 AI 生成图像截图。因此,我们决定暂时下线谷歌 Earth 中的这一功能,以便进一步完善相关安全机制。需要特别说明的是,这些 AI 生成的图像并不会出现在谷歌 Earth 的公开主界面中供他人查看,且均已标注 AI 生成水印。"
van Ess 在测试中还发现,他能够成功欺骗 AI 检测工具 Hive,使其无法识别一段由谷歌 Earth 生成的视频,这表明即使存在水印,生成的虚假内容仍有可能广泛传播。他表示,在整个测试过程中,"没有任何请求被拒绝,没有任何内容被弱化处理,也没有任何提示建议我换用其他提示词。"
Q&A
Q1:谷歌 Earth 的 AI 图像编辑功能是什么?为什么被下架?
A:谷歌 Earth 近期上线了一项功能,允许用户通过文字提示词利用 AI 对卫星图像进行修改,实质上可生成真实世界的深度伪造内容。上线后,研究人员发现该功能可轻易生成涉及难民、爆炸等敏感内容的图像,且平台内容审核形同虚设。谷歌随即于功能上线一天后将其下架,表示将完善安全机制后再重新推出。
Q2:谷歌 Earth 生成的 AI 图像有水印保护,为什么还会有风险?
A:虽然谷歌 Earth 生成的 AI 图像附有数字水印,但研究员 Henk van Ess 的测试表明,用该功能生成的视频内容能够成功绕过 AI 检测工具 Hive 的识别,说明水印并不能有效阻止虚假内容的传播。用户可通过截图等方式分享这些图像,水印的警示作用十分有限。
Q3:Nano Banana 2 是什么?它在这次事件中扮演了什么角色?
A:Nano Banana 2 是谷歌 Earth 此次用于图像生成的 AI 模型,负责根据用户输入的文字提示词对卫星图像进行 AI 编辑和内容生成。正是这一模型的能力使得用户可以在真实卫星图像上添加虚构内容,从而引发了深度伪造滥用的担忧,最终导致该功能在上线一天后即遭下架。
