
当AI平台普遍被视为从其他网站抓取信息的工具时,它们自身正逐渐成为被抓取的目标。Decodo最新研究揭示了这一趋势,ChatGPT和Perplexity均跻身被抓取网站前五名。
Decodo认为,这标志着企业网络需求的根本性转变。该公司CEO Vaidotas Juknys指出:“两年前,企业抓取网页是为了了解用户在搜索什么;现在,他们抓取AI平台是为了了解用户被告知了什么。数据收集的场景正在发生演变。”
AI平台遭遇大规模抓取
在Decodo统计的前十大被抓取网站中,有七个为新晋上榜者,仅TikTok(第一名)、Google(第二名)和Amazon(第八名)为常客。其中,TikTok以接近18%的占比位居榜首;排名第三的ChatGPT占总活动量的14%,Perplexity则以10%的占比位列第五。
ChatGPT的高频被抓取,可能反映了企业正在监控其产品在AI工具中的排名、评估AI对公司的描述、衡量品牌提及频率以及记录引用次数。
与此同时,Walmart、eBay和Airbnb等在2025年退出前十榜单。Decodo数据显示,这不仅印证了AI的崛起,更广泛地反映了消费者购物方式和渠道的变迁,即向AI平台和社交媒体转移。
展望未来,Decodo预计Gemini和Copilot有望在明年进入前十。更为显著的转变在于,AI代理(AI Agents)可能取代人类,成为发起这些抓取行为的主体。“明年,代理可能会自主做出决策,而不仅仅是阅读答案。”Juknys补充道。