以毒攻毒的策略并非总是奏效。面对AI生成的垃圾内容和仇恨言论对社交媒体平台安全性与价值的冲击，引入更多AI不仅无法解决问题，反而可能让局面更加复杂。
社交媒体在理想状态下，是人们分享经验与知识的良好场所。当用户贡献真实有价值的内容时，这一愿景才得以实现——无论是一篇独到的博客文章，还是一段教人组装电脑的实用视频。然而，过度依赖AI工具来维护这种真实性，恰恰忽视了社交媒体最核心的价值所在：那些真实存在的人。
今年四月，Reddit社区r/AskHistorians的版主Slack频道异常忙碌。该频道会自动接收站内私信链接，数十条历史跨度长达十年的评论和帖子在毫无预警的情况下被批量删除，导致频道警报不断涌入。
"我们和那些发布被删内容的专家们，对此完全束手无策，"版主之一莎拉·吉尔伯特博士告诉我。
这对该社区造成了严重损害，因为用户将其视为一座知识档案库——其中的详尽回答在发布很久之后，仍持续为人提供知识参考。
版主们普遍认为，此次批量删除是Reddit新近升级的AI内容审核工具所为。在找回部分被删帖子的文本内容后，一位版主发现，所有被删内容都链接了"Rare Historical Photos"——一个历史图片分享网站。版主们推测，Reddit可能将该网站标记为垃圾来源，从而导致所有引用其内容作为历史说明的帖子遭到连带删除。
截至目前，Reddit尚未回应置评请求。
这批内容的消失，抹去了大量需要耗费大量时间积累的宝贵信息。据吉尔伯特介绍，部分用户为回答社区里的提问，往往需要花费数小时、"有时甚至跨越数天"进行研究和写作。然而讽刺的是，这些错误删除操作，或许反而被计入了用以衡量Reddit AI审核效果的统计指标之中。
Reddit方面表示，借助AI，平台"针对仇恨和暴力内容的执行行动增加了逾200%"，AI推动了"更快、更大规模的执法行动"。本月，Reddit还称AI"帮助将用户接触潜在有害内容的概率降低了40%以上"，并表示平台利用大语言模型识别"虚假行为和人为炒作中高度隐蔽的协调模式"。
然而，r/AskHistorians事件恰恰说明：更多的审核执行，未必意味着更好的审核效果。
生成式AI的兴起，为社交媒体内容审核带来了新的挑战。吉尔伯特指出，大语言模型"让垃圾内容检测变得更加困难"，因为这些模型能够高度模拟真实人类的语言风格。"过去两三个月里，由大语言模型驱动的垃圾信息机器人已经将我们的社区淹没，"她说。
与此同时，营销机构开始专门制作社交媒体内容，以期让旗下品牌被生成式AI聊天机器人引用。利用不真实的社交媒体帖子提升品牌曝光度，本是业界惯用手法，但聊天机器人的崛起又开辟了新的战场。例如，初创公司ReachLLM便专注于通过聊天机器人开展营销，其团队代表甚至在Reddit上创建并运营了多个子社区。
面对这些挑战，部分社交媒体公司开始探索新的AI审核方案。Reddit称，其AI工具"每天撤销近200万个虚假投票"，并运用大语言模型"识别旧系统无法发现的、高度隐蔽的虚假行为协调模式和人为炒作"。
然而，许多社交媒体平台已对AI审核工具产生过度依赖，而这些工具往往会对无害内容进行误判。
近期，Discord承认其AI审核系统在五月至七月初期间错误封禁了约8400个账户。该AI将包含方格图案的图片（如棋盘或电子表格截图）误识别为儿童性剥削材料，并对上传者实施了永久封禁。（Discord表示，所有受影响的账户现已全部恢复。）
Discord表示，其AI审核系统本不应在缺乏人工监督的情况下独立运作——按规定，人工审核员应在AI标记内容后、平台采取行动前进行复核，但一个技术漏洞绕过了这一人工环节，直接触发了封号操作。
Q&A
Q1：Reddit的AI审核工具为什么会删除r/AskHistorians的历史帖子？
A：版主们认为，Reddit新升级的AI审核工具可能将历史图片网站"Rare Historical Photos"标记为垃圾来源，导致所有引用该网站内容的帖子遭到连带删除，其中包括大量历史跨度达十年的高质量回答。这些内容往往耗费作者数小时乃至数天的研究精力，其丢失对社区造成了严重损害。Reddit目前尚未就此作出回应。
Q2：Discord的AI审核系统为什么会错误封禁账户？
A：今年五月至七月初，Discord的AI审核系统将包含方格图案的图片（如棋盘或电子表格截图）误识别为儿童性剥削材料，随即对上传者实施永久封禁，共波及约8400个账户。Discord表示，系统原本要求人工审核员在AI标记内容后进行复核，但一个技术漏洞使AI绕过了这一步骤，直接执行了封号操作。目前所有受影响账户已全部恢复。
Q3：生成式AI的发展对社交媒体内容审核带来了哪些新挑战？
A：生成式AI让垃圾内容检测更加困难，因为大语言模型能够高度模拟真实人类的语言风格，由此驱动的垃圾信息机器人大量涌入各类社区。此外，营销机构开始专门制作社交媒体内容，以期让品牌被AI聊天机器人引用，进一步加剧了虚假内容问题。初创公司ReachLLM便是专注于此类聊天机器人营销的典型案例。
