Cloudflare начинает брать деньги с ИИ-краулеров. Что это значит, если сервер ваш собственный.

1 июля 2026 года Cloudflare сообщила, что её площадка для краулеров Pay Per Crawl превращается в Pay Per Use: издатели получают деньги, когда их материал действительно используют — когда он появляется в ответе ИИ-поиска или когда агент по запросу покупает к нему доступ, — а не просто когда бот его скачал. В том же объявлении появилась дата более серьёзной перемены. С 15 сентября 2026 года на страницах с рекламой настройки Cloudflare по умолчанию будут пропускать поисковых краулеров, но блокировать использование для обучения и для агентов, а также полностью блокировать любого смешанного краулера, который не даёт владельцу сайта выбрать между этими тремя режимами. Правило коснётся новых клиентов, новых сайтов в существующих аккаунтах и пользователей бесплатного тарифа, которые к тому моменту не изменят настройки. 1

Самому Pay Per Crawl год. В закрытую бету он вышел 1 июля 2025 года: сайт назначал фиксированную цену за запрос и отдавал HTTP 402 Payment Required любому краулеру, не заявившему намерение платить, а Cloudflare выступала продавцом по документам. 2

Код 402 пролежал в спецификации HTTP три десятилетия — зарезервированным и по сути неиспользуемым, — дожидаясь, пока кто-нибудь придумает ему применение. Дождался.

Наконец-то работающий шлагбаум

В прошлом месяце мы писали про арифметику, которая за этим стоит. Cloudflare Radar насчитала в июне 57,5 % автоматических запросов в HTML-трафике — впервые машин в вебе оказалось больше, чем людей. 3 Само объявление Cloudflare от 1 июля формулирует то же самое свободнее: боты и агенты создают уже больше половины всех веб-запросов. 1

До сих пор вся стоимость их обслуживания ложилась на владельцев исходных серверов — без механизма возместить её и без реальной возможности отказать, ведь robots.txt это просьба, а не средство контроля. Pay Per Crawl — первый случай, когда у веба появился работающий шлагбаум, а не вежливое объявление.

Хорошо это или нет, зависит от того, издатель вы или разработчик моделей. Не обсуждается другое: умолчание меняется с «обходи свободно, разберёмся потом» на «сначала договорись».

Загвоздка: нужно стоять за Cloudflare

Через всё это проходит одно практическое ограничение. Работает оно, только если вы за Cloudflare.

Принуждение живёт на границе сети, которая видит запрос раньше вашего сервера, держит личность краулера и платёжные отношения с ним и может вернуть 402 от вашего имени. Это настоящая услуга. Это и дальнейшая концентрация власти в наименее заметной части стека — той самой, которая две недели назад целый день демонстрировала, как мало кто-либо способен в ней разглядеть, о чём мы писали на прошлой неделе.

Итак, веб получает платёжный механизм, а платой за пользование становится более глубокая зависимость от одной компании, стоящей между вами и вашими читателями. Никакого злого умысла для этого не нужно. Трудную задачу координации решает тот, кто достаточно велик, чтобы её решить, и тот же, кто решил, назначает условия.

Без шлагбаума

Если серверы ваши и отдавать отношения посреднику не хочется, инструменты менее изящны, зато ваши.

Ограничивайте скорость по ASN и префиксу, а не по user agent: краулеры меняют user agent, но выйти из своего адресного пространства им куда сложнее. Google, Bing и OpenAI публикуют машиночитаемые диапазоны адресов своих краулеров, а обратный DNS с прямой перепроверкой скажет вам, действительно ли то, что называет себя Googlebot, пришло от Google. Деньги вам, скорее всего, стоят как раз те краулеры, которые не делают ни того, ни другого.

Отдавайте дешёвые ответы дорогим посетителям. Агрессивное кеширование превращает обход в расход трафика, а не процессорного времени и времени базы.

Уничтожьте бесконечные пространства URL. Фасетный поиск, календари и перестановки фильтров превращают сотню страниц контента в миллион скачиваемых адресов.

Публикуйте то, что хотите отдать на обход, и закройте остальное. Щедрая публичная выжимка плюс полная версия за аутентификацией — грубый инструмент, но работает везде и ничьего согласия не требует.

И сначала измерьте: нельзя принимать решение о расходах, которых вы не посчитали.

Мы продаём машину и уходим с дороги

У нас позиция невыигрышная: мы не в пути запроса и не хотим там быть.

Каждый VPS и VDS в AVS ISP — полноценная виртуализация KVM с настоящим root-доступом, так что каждый пункт из списка выше вы внедряете сами: свой nginx, свои лимиты, своё кеширование, свой fail2ban, свои правила — читаемые и изменяемые вами. Нет вендорского WAF, логику которого не посмотреть, и нет панели, решающей, какой трафик вам разрешено отклонять.

Защита от DDoS входит в каждый тариф и закрывает враждебную часть автоматики. Вежливая, но дорогая часть — это вопрос мощности и настроек, и потому владеть root-ом сейчас важнее, чем раньше.

Тарифы начинаются от 5 €/мес. за VPS, 40 €/мес. за VDS с 4 vCPU и до 160 €/мес. за 16, и 150 €/мес. за выделенный сервер. VPS и VDS работают в Тиране, Скопье, Амстердаме и Дублине, выделенные серверы — в Тиране, Скопье и Амстердаме. Криптовалюта принимается, KYC не нужен.

Что покупает веб

Pay Per Crawl — остроумный ответ на реальную проблему, и мы ожидаем, что он сработает. Но сделку стоит назвать своими именами. Веб покупает работающий рынок контента ценой ещё большего посредничества — ровно в тот момент, когда отрасль две недели не могла сказать, какой именно посредник у неё сломался.

Если пользуетесь — пользуйтесь осознанно. И держите к своему origin путь, который от этого не зависит.

Источники

1. Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules, Cloudflare, 1 июля 2026 года
2. Introducing pay per crawl: enabling content owners to charge AI crawlers for access, Cloudflare, 1 июля 2025 года
3. Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5 июня 2026 года