Cloudflare 开始向 AI 爬虫收费。如果你自己跑服务器，这意味着什么。
2026 年 7 月 1 日，Cloudflare 宣布其爬虫市场 Pay Per Crawl 正在演变为 Pay Per Use：当内容被真正使用时——出现在 AI 搜索结果里，或有代理按需购买访问权——发布者才获得报酬，而不再只是有机器人抓取时才计费。同一份公告还给一项更大的变化定了日期。自 2026 年 9 月 15 日起，在带广告的页面上，Cloudflare 的默认设置将放行搜索爬虫，但拦截用于训练和用于代理的用途，并彻底拦截任何不让站点所有者在这三者之间作出选择的混合型爬虫。这适用于新客户、既有账号下的新站点，以及到那时仍未更改设置的免费层用户。 1
Pay Per Crawl 本身已有一年。它于 2025 年 7 月 1 日进入私有测试，允许站点设定每次请求的固定价格，并对任何未表明付款意向的爬虫返回 HTTP 402 Payment Required，由 Cloudflare 作为记录商户。 2
402 这个状态码在 HTTP 规范里躺了三十年，被保留却基本没人用，一直等着有人给它找到用途。这一天到了。
终于有了一个能用的收费站
上个月我们写过它背后的算术。Cloudflare Radar 在 6 月把自动化请求放在 HTML 流量的 57.5%，这是机器数量首次超过网页上的人。 3 Cloudflare 自己 7 月 1 日的公告用更宽松的说法讲了同一件事：机器人和代理如今驱动了全部网页请求的一半以上。 1
在此之前，服务这些请求的全部成本都落在源站运营者身上，既没有收回成本的机制，也没有现实的拒绝手段——robots.txt 是一个请求，而不是一种控制。Pay Per Crawl 是网页第一次拥有一个能用的收费站，而不是一块礼貌的告示牌。
你觉得这是不是好事，取决于你是发布者还是模型建造者。没有争议的是，它把默认状态从“先随便抓，之后再吵”改成了“先谈好”。
关键前提：你必须站在 Cloudflare 后面
有一个实际限制贯穿全局：这一切只有当你站在 Cloudflare 后面时才成立。
执行发生在边缘——那个在你的源站之前就看到请求、持有爬虫身份和付款关系、并能代表你返回 402 的网络。这是一项实打实的服务。它同时也是权力在整条栈里最不可见的那一部分进一步集中——而两周前，那一部分刚用一个下午展示了任何人能看清它的程度有多低，正如我们上周所写。
于是网页得到了一套支付机制，而使用它的代价，是对一家坐在你和你读者之间的公司更深的依赖。这一切都不需要恶意。一个困难的协调问题，由足够大到能解决它的人来解决，而解决它的人也就定下了条款。
没有收费站的情况下
如果你自己跑服务器，又不愿把这段关系交给中间人，那么工具会不那么优雅，但它们是你的。
按 ASN 和前缀限速，而不是按 user agent，因为爬虫会轮换 user agent，但要换掉自己的地址空间可没那么容易。Google、Bing 和 OpenAI 都发布了各自爬虫的机器可读 IP 段，而正向确认的反向 DNS 能告诉你，那个自称 Googlebot 的东西是不是真的来自 Google。最可能让你花钱的爬虫，恰恰是两样都不做的那些。
给昂贵的访客提供廉价的响应。积极缓存意味着一次抓取只花你带宽，而不是 CPU 和数据库时间。
干掉无限的 URL 空间。分面搜索、日历和筛选条件的排列组合，会把一百页内容变成一百万个可抓取的 URL。
把你愿意被抓的公开出来，其余的加门槛。一份慷慨的公开摘要，加上一个需要认证的完整版本，是一件粗糙的工具，但它到处都管用，而且不需要任何人的配合。
而且要先做测量，因为你无法对一笔自己从未量化过的成本作出策略决定。
我们卖机器，然后让开
我们的位置并不光鲜：我们不在链路上，也不想在。
AVS ISP 的每一台 VPS 和 VDS 都是带真实 root 权限的完整 KVM 虚拟化，所以那份清单上的每一项控制都由你来实施：你的 nginx、你的限速、你的缓存、你的 fail2ban、你的规则，可读也可改。这里没有一个你无法检视其逻辑的厂商 WAF，也没有一个控制面板来决定你被允许拒绝哪些流量。
每个套餐都包含 DDoS 防护，它覆盖了自动化中带敌意的那一端。礼貌却昂贵的那一端是容量和配置问题，而这正是如今拥有 root 权限比以往更重要的原因。
套餐起价为 VPS €5/月，4 vCPU 的 VDS €40/月，16 vCPU 时 €160/月，裸金属 €150/月。VPS 和 VDS 在地拉那、斯科普里、阿姆斯特丹和都柏林提供，裸金属在地拉那、斯科普里和阿姆斯特丹提供。接受加密货币，无需 KYC。
网页买到了什么
Pay Per Crawl 是对一个真实问题的巧妙回答，我们也预计它会奏效。但我们同样认为，这笔交易值得说清楚：网页买到了一个可运转的内容市场，代价是接受更多的中间层——而就在此前两周，这个行业还说不出究竟是哪一个中间层坏了。
如果你要用它，请有意识地用。并且保留一条通往你源站、不依赖它的路径。
资料来源
- Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules，Cloudflare，2026 年 7 月 1 日
- Introducing pay per crawl: enabling content owners to charge AI crawlers for access，Cloudflare，2025 年 7 月 1 日
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share，Tech Times，2026 年 6 月 5 日