根据Cloudflare 2025年度报告,ChatGPT的爬虫GPTBot是互联网上被阻止最多的机器人,而其最大竞争对手谷歌则是最被允许的爬虫。报告显示,非人类机器人现占互联网流量的56.5%,其中AI服务爬虫增长最快。不同网站对爬虫态度各异,一些希望获得流量,另一些则认为机器人在未给予充分补偿的情况下获取价值。在爬取与推荐比率方面,Anthropic的表现最差,达到10万比1。
随着当前社会生产生活中数字化程度的不断提升,数据的价值也在获得越来越多的认同,数据资产也成为现代企业的最重要的财富之一,对于数据的挖掘及关联关系的呈现,也成为企业认识自身行业、业务及客户的全新工具而对于很多尚未起步或刚刚上路的企业来说