cloudflare 正式发布《2025 year in review》年度报告,数据显示全球互联网流量同比上涨19%。
2025年,生成式AI赛道竞争持续白热化,除ChatGPT稳居榜首外,Anthropic的Claude、Perplexity AI及谷歌Gemi

AI驱动的自动化流量在2025年迎来爆发式增长,各类爬虫机器人密集参与数据采集,以支撑大模型训练、索引优化与实时推理。然而,该趋势也引发广泛争议——大量AI爬虫未严格遵循robots.txt协议,甚至绕过网站反爬机制,导致内容方对数据主权、带宽成本与版权边界的担忧显著上升。
面对AI流量激增带来的治理挑战,内容提供者正加快构建精细化访问控制策略。Cloudflare基于全网HTTP请求日志,对HTML层级流量进行溯源分类,细分为人类终端请求、AI专用爬虫(如GPTBot、ClaudeBot、Googlebot-AI等)及其他非AI型自动化程序。下图呈现了全年AI机器人请求占比的动态演变趋势:
完整报告详见:https://www./link/73e93611928dad613fa55a8b1a7940f7
源码地址:点击下载
