Cloudflare新规要求AI公司为内容付费，混合爬虫将被默认拦截

Cloudflare宣布，自2026年9月15日起，将默认屏蔽"混合用途"爬虫访问含广告页面，要求AI公司将用于传统搜索的爬虫与用于AI训练及智能代理的爬虫分开。此举影响AI模型提供商获取网页内容的方式。同时，Cloud...