据 Search Engine Roundtable 早前报道，OpenAI、谷歌、微软和 Anthropic 表示，它们将采用一种新的标准，供出版商用来选择退出被 AI 抓取数据。借助这一控制机制，出版商可以统一设置自己对多家 AI 公司的训练偏好，而无需逐一单独设置。
这一共享的"策略 Token"信号由 Anthropic 标准技术负责人 Kevin Kelley 提出，是互联网工程任务组（IETF）相关工作的一部分。该信号将存在于网站的 robots.txt 文件中，这一文件长期以来被用于标示哪些网络爬虫可以或不可以抓取某个网站的内容——无论是用于搜索索引、存档还是 AI 训练。目前，网站需要分别向每家 AI 公司单独传达其 AI 训练偏好。
此次宣布正值出版商们持续面临 AI 爬虫不断涌入、抓取其网站内容并将其输入 AI 模型训练的困扰之际。一些公司和组织已经尝试应对未经授权的抓取行为，例如 Really Simple Licensing（RSL）标准赋予出版商向访问其网站的爬虫收费的能力，以及 Cloudflare 默认屏蔽 AI 爬虫。
OpenAI、谷歌、微软和 Anthropic 表示，一旦其 AI 爬虫遇到这一共享 Token，将限制其访问相关网站。不过，微软将提供更细粒度的控制选项，让出版商可以选择退出 AI 训练或 AI 查证（即将 AI 模型指向经过验证的信息来源，以减少幻觉现象）。微软指出，无论网站做出何种偏好设置，其内容仍将继续出现在必应的搜索结果中。
目前，Anthropic 已经采用了这一信号，而谷歌和微软计划在明年提供支持。OpenAI 则表示将在"未来几个月内"予以实施。
The Verge
