机器人已占网页请求的多数：Cloudflare 给出 57.5%
2026 年 6 月 3 日，Cloudflare 首席执行官 Matthew Prince 表示，自动化系统如今占网页 HTTP 请求的 57.5%，人类占 42.5%。这是 Cloudflare 首次测到这一交叉点，并把这一转变归因于具备自主行动能力的人工智能。 1 今年 3 月在 SXSW 上，他还说过预计这要到 2027 年才会发生。 2
有必要把这个数字说准确，因为它常被转述成更大的东西。它统计的是 Cloudflare 网络上对网页的请求。它不是流量字节数，不是在线时长，也不是整个互联网：一个机器人抓取一个 5 KB 的页面，和一个人打开一段视频，各算一次。人们并没有停止使用网页。
它真正的含义更窄，也更费钱：如果你运营任何带公共 HTTP 端点的东西，向你发出的请求中已有超过一半不再来自人。
带宽、CPU、缓存，以及你的图表
机器人流量并不因为不带恶意就是免费的。
最显而易见的是带宽：每一次抓取都是传输，在按量计费的托管上，这就是一张直接的账单。不那么显而易见的是 CPU：一个抓取动态页面的爬虫，会像真实请求一样执行你的应用逻辑、数据库查询和模板渲染，只不过它不会只停在一个页面上，也没有会话缓存。
再就是缓存污染。爬虫倾向于请求几乎没有人类流量的长尾 URL，这会把热点内容挤出缓存，让真实用户的性能变差。而日志量会扭曲你的分析：如果你流量图里有一半不是客户，而你又没有把它分开，那么你做的每一个容量决策都建立在一个错误的数字上。
对小型运营者伤害最大的模式是：一个爬虫发现了动态生成的 URL 空间——分面搜索、日历或筛选条件组合——然后开始逐一枚举。一个只有一百页内容的站点可以呈现出一百万个 URL，而迟早会有东西试图把它们全抓一遍。
有帮助的五件事
先看日志，别的都排在后面。按 user agent 和按 ASN 把流量拆开。多数人都会对这个比例感到意外。
把 robots.txt 当作请求，而不是控制手段。守规矩的爬虫会遵守它；给你带来麻烦的那些常常不遵守，有些还会靠轮换 user agent 来伪装。
按网络限速，而不是按 user agent。一个谎报身份的爬虫，终究还是来自某个地方，而按 ASN 和按前缀的限制能挺过 user agent 伪造。
关掉无限的 URL 空间。首先就别输出指向筛选条件排列组合的链接，因为 nofollow 只是劝阻抓取而不是阻止抓取；屏蔽你从未打算被抓取的查询参数组合；并且返回 404，而不是为每一种可能的输入生成一个页面。
积极缓存，并从缓存提供响应。一个命中缓存响应的爬虫只花你带宽，一个打到你应用上的爬虫会花掉你的一切。
root 权限，以及你能读到的规则
这里有两点很重要，而且都不是我们为了写博客才发明的功能。
第一是由你掌控的、可预期的资源。AVS ISP 的每一台 VPS 和 VDS 都是带真实 root 权限的完整 KVM 虚拟化，因此上面那份清单里的每一项措施都由你来实施：你的 nginx、你的限速、你的缓存、你的 fail2ban、你的规则，可读且可改。这里没有一个共享控制面板来决定你可以屏蔽什么，也没有一个你读不到其逻辑的厂商 WAF。
第二是每个套餐都包含 DDoS 防护，它覆盖了自动化中带敌意的那一端。而那个礼貌却昂贵的另一端——那些并不攻击你、只是不停读取你的爬虫——是容量和配置问题。这正是 root 权限重要的原因。
套餐起价为 VPS €5/月，4 vCPU 的 VDS €40/月，16 vCPU 时 €160/月，裸金属 €150/月。VPS 和 VDS 在地拉那、斯科普里、阿姆斯特丹和都柏林提供，裸金属在地拉那、斯科普里和阿姆斯特丹提供。如果服务机器人如今已占去你一半的负载，那么能够据实为此选型和调优，就比一个看起来更便宜、直到流量账单寄来的套餐更有价值。
谁在为这“多数”买单
关于为训练人工智能而抓取公开网页是否属于合理使用，眼下仍有激烈争论，而它不会由一家托管服务商的博客来了结。没有争议的是算术：如今打到网页上的多数请求都是自动化的，有人在为服务它们付费，而现在这个人就是源站服务器的所有者。
无论你对伦理问题得出什么结论，请有意识地决定你愿意把多少容量捐出去。如果你不决定，你的基础设施就会默认替你吸收这笔成本。
资料来源
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share，Tech Times，2026 年 6 月 5 日
- Online bot traffic will exceed human traffic by 2027, Cloudflare CEO says，TechCrunch，2026 年 3 月 19 日