雅虎、Quora、Medium等在线媒体品牌正采用名为RSL的新协议,防止AI公司未经授权复制其内容用于模型训练。RSL协议基于RSS标准开发,为AI时代的互联网提供缺失的许可层。该协议旨在成为比robots.txt更强大的技术层,应对目前占互联网流量一半以上的AI爬虫。Reddit、MIT出版社等多家机构已加入该协议。随着AI导致网站流量下降25%,出版商正通过诉讼或授权协议寻求补偿。
互联网工程任务组 (IETF) 成立了一个工作组,旨在制定新标准,让内容创作者能够向 AI 开发者表明是否允许使用其作品。该工作组将开发统一词汇表来表达作者和出版商对 AI 训练使用其内容的偏好,并探索将这些偏好附加到互联网内容的方法。这一举措源于当前系统的ineffectiveness,以及内容创作者对 AI 公司未经许可抓取内容的不满。