/
为何我开始通过住宅网络测试自动化脚本
作者在为仓储自动化项目构建数据采集工具时，因频繁使用数据中心IP导致被封禁或收到虚假数据。在尝试多个代理服务失败后，转向住宅网络代理，72小时内成功率从61%提升至95%。文章介绍了住宅IP与移动代理的分工使用策略，以及轮换会话与固定会话的适用场景，建议自动化开发者尽早将代理层纳入项目设计。
SerpApi反击谷歌法律诉讼案
网络爬虫大战愈演愈烈。谷歌12月起诉网络爬虫公司SerpApi，指控其API工具绕过安全措施获取搜索结果，为AI大语言模型提供训练数据。SerpApi于2月20日在加州法院申请驳回诉讼，声称谷歌试图"武器化数字千年版权法"阻止他人进行大规模网络爬虫。专家指出相关法律并不明确，而行业观察者认为爬虫技术已经发展，该诉讼显得过时。
ChatGPT成为互联网最受阻止的爬虫机器人
根据Cloudflare 2025年度报告，ChatGPT的爬虫GPTBot是互联网上被阻止最多的机器人，而其最大竞争对手谷歌则是最被允许的爬虫。报告显示，非人类机器人现占互联网流量的56.5%，其中AI服务爬虫增长最快。不同网站对爬虫态度各异，一些希望获得流量，另一些则认为机器人在未给予充分补偿的情况下获取价值。在爬取与推荐比率方面，Anthropic的表现最差，达到10万比1。
AI 偏好控制：IETF 正在完善 robots.txt 以应对无视版权的 AI 爬虫
互联网工程任务组 (IETF) 成立了一个工作组，旨在制定新标准，让内容创作者能够向 AI 开发者表明是否允许使用其作品。该工作组将开发统一词汇表来表达作者和出版商对 AI 训练使用其内容的偏好，并探索将这些偏好附加到互联网内容的方法。这一举措源于当前系统的ineffectiveness，以及内容创作者对 AI 公司未经许可抓取内容的不满。
AI 爬虫尚未学会如何友好地与网站相处
SourceHut等网站面临AI爬虫过度抓取数据的挑战，导致服务速度下降。这些爬虫主要用于训练大型语言模型，但其行为往往不受约束。网站采取各种措施应对，包括封锁某些云服务提供商和部署反爬虫工具。然而，这些措施可能影响正常用户访问。AI爬虫的不当行为已成为一个普遍问题，引发了对网络资源使用和数据收集方式的讨论。
京公网安备 11010802021500号
