水印技术面临挑战：短文本与编辑文本难以被有效检测
欧盟现要求对AI生成文本添加水印标记，以便识别其来源。然而，针对OpenAI于10月发布的新水印技术textGrain的测试显示，该技术是为符合欧盟新法律而开发的，但在文本经过进一步编辑或字数低于150词时，水印往往无法保留。由于目前尚无明确的法律基准来衡量水印技术的有效性标准，textGrain是否能满足欧洲的透明度规则仍不确定，这可能让该公司付出巨大代价，并且随着模型日益复杂，检测AI生成文本将变得更加困难。
AI模型会根据已生成的文本，计算下一个可能Token（即下一个词或词的片段）的概率，然后选择其中一个并重复这一过程，直至生成完整回答。textGrain技术报告的共同作者、宾夕法尼亚大学博士后研究员李翔（音译）举例说，在提示词"今天天气……"之后，模型可能会权衡"温暖"或"凉爽"作为下一个可能出现的词。
水印技术使用一个密钥来生成伪随机值——即通过数学过程产生的数字，这些数字会影响模型建议哪个Token。李翔表示，这会在文本中形成一种统计模式，拥有相同密钥的检测器可以借此进行识别。
textGrain与其他水印技术的不同之处在于，它将"熵"（即衡量模型词语选择的不可预测程度的指标）作为嵌入水印时可以预算分配的资源。开发者可以指定允许的熵或不可预测性的量，textGrain会据此进行调整，以达到目标值。
李翔表示，这使开发者在"嵌入可检测信号"与"保留模型输出的多样性"之间拥有了更大的平衡控制权。"我们可以把熵看作一种资源，类似于金钱……在我们的方法中，我们可以精确地确定想要消耗多少这种资源。"
AI水印检测的局限性
该水印对读者而言是不可见的。但检测结果为正并不能说明一个人对文本的贡献程度，检测结果为负也不能证明文本是人类所写。
OpenAI的误报率为1%，意味着该检测器设计上会将约100篇未添加水印的文本中的1篇错误标记为含水印文本。在针对ELI5数据库（该数据库收集了Reddit论坛"/r/explainlikeimfive"板块上的问答）中心理学问题的测试中，该模型在约200个Token（约150词）的文本中检测出水印的比例约为80%，而在约400个Token（约300词）的文本中，这一比例为95%。
李翔表示，这是文本水印技术的一个"基本局限"，解决起来较为复杂。他补充说，即便投入更多计算资源，短文本也可能不包含足够的水印证据以供可靠检测，而长文本通常能提供更多证据。
编辑行为同样会削弱水印信号。据OpenAI介绍，在对400个Token文本的评估中，仅将10%的词替换为同义词，就会使检测率从92%降至66%；若替换比例提高至25%，检测率将降至17%。李翔表示，由于水印依赖于前面的Token，更改一个词可能会破坏多个位置上的信号。
OpenAI表示，仅靠水印技术不足以判断内容是否为AI生成。
textGrain将与其他内容来源认证工具"互补"，例如元数据中的内容凭证，以及谷歌DeepMind为图像和音频输出开发的SynthID水印技术。OpenAI未对置评请求做出回应。
欧盟《人工智能法案》的透明度义务
欧盟《人工智能法案》第50条规定的透明度义务已于8月2日生效。该法律要求生成合成音频、图像、视频或文本的系统提供商，以机器可读的格式对输出内容进行标记，以便其能够被识别为人工生成或篡改的内容。根据该法律，相关技术解决方案必须"在技术可行的范围内做到有效、可互操作、稳健且可靠"。
欧盟的《行为准则》为提供商提供了一种自愿性方式，以证明其将如何达到合规要求。该准则并不要求对短于200个Token的输出内容添加水印。
巴黎高等教育学院人工智能伦理学博士后研究员托马斯·苏维兰表示，相关立法存在解释空间。
苏维兰表示，textGrain背后的早期方法论看起来较为可靠，在识别AI生成文本方面可能比竞争对手表现更好。OpenAI表示，在自身测试中，textGrain的表现与谷歌的SynthID Text相当或更优，但这些结果尚未经过独立验证。在独立研究人员能够对其进行测试之前，且由于《人工智能法案》的评判标准仍缺乏可衡量的具体门槛，现在判断textGrain是否符合法律要求还为时过早。
"我们目前只有一份技术研究报告……还没有经过同行评审的学术论文，我们目前也无法获取（针对textGrain的）精确协议，"苏维兰说。
OpenAI正与一个有限的研究人员小组合作，其中包括康奈尔大学计算机科学助理教授约翰·蒂克斯顿，以及位于斯洛伐克布拉迪斯拉发的凯姆佩伦智能技术研究所的研究人员。
蒂克斯顿和KInIT高级研究员多米尼克·马克科表示，他们刚刚获得访问权限，尚未开始对该系统进行评估。马克科表示，他的团队计划测试textGrain在不同主题领域、语言和文本长度下的"稳健性"。
苏维兰表示，如果textGrain最终被认定不符合欧盟的要求，OpenAI可能面临最高相当于其年收入7%的罚款。
苏维兰还呼吁OpenAI将textGrain开源，以便非其团队成员的研究人员能够通过尝试破解该模型，"找出其所有的缺陷、意译处理问题以及可能存在的翻译错误"。
"我理解企业方面的考量，如果检测到了重大缺陷、重大弱点，他们希望这是在内部被发现的，"他说，"但我希望能看到一个更加开放的阶段，就像今天的SynthID一样，让我们能够接触到相关方法。"
