谷歌、微软、Anthropic PBC和OpenAI Group PBC今日宣布，计划支持一项即将推出的网站爬虫标准。
该技术将使网站运营者能够阻止AI开发者使用其内容来训练模型。
许多网站包含一个名为“robots.txt”的文本文件，用于告知爬虫可以访问哪些内容。发布者可以利用该文件全面屏蔽抓取行为，或仅限制特定网页不可被访问。该文件还可以包含其他一些指令，例如要求爬虫不要过于频繁地访问网站。
长期以来，网站运营者使用robots.txt文件来管理搜索引擎与其网站的交互方式。如今，这项技术也被用于规范AI提供商收集训练数据所使用的抓取工具的活动。
如果一家公司希望禁止与训练相关的抓取行为，就必须对其网站的robots.txt文件进行多处修改，尤其是需要为每一个AI提供商单独添加条目。如果某个AI提供商使用多个爬虫来收集数据，每个爬虫还需要各自对应的robots.txt条目。
谷歌、微软、Anthropic和OpenAI正在支持的这项爬虫标准，旨在简化这一流程。它将允许网站运营者通过单一的robots.txt条目，屏蔽所有为生成式AI模型收集训练数据的爬虫。不过，该设置不适用于“仅执行非生成式任务”的模型。
robots.txt文件的结构遵循一种被称为“机器人排除协议”（Robots Exclusion Protocol）的标准化格式。谷歌、微软、Anthropic和OpenAI计划将其爬虫标准纳入该格式中。目前，它们已经向互联网工程任务组（IETF，负责维护该协议的非营利组织）提交了提案草案。
微软在一篇博客文章中表示，公司还将提供一项名为“AI Grounding”的爬虫设置。该功能适用于AI模型为回答用户问题而访问网页的情形，而非为收集训练数据而抓取内容。
微软的这项设置将使网站运营者能够阻止其服务发送此类请求。该功能还将扩展至使用微软技术处理提示词的第三方AI工具。
OpenAI计划提供类似的控制功能。该公司与微软均打算在未来几个月内加入对该爬虫标准的支持，而谷歌则将于明年某个时间跟进。Meta Platforms Inc.表示支持这项技术背后的理念，但尚未承诺予以落实。
