Боты стали большинством веб-запросов: Cloudflare насчитала 57,5%
3 июня 2026 года генеральный директор Cloudflare Мэттью Принс сообщил, что на автоматические системы приходится 57,5 % HTTP-запросов веб-страниц против 42,5 % у людей. Cloudflare зафиксировала такой перевес впервые и связала сдвиг с агентным ИИ. 1 В марте на SXSW он говорил, что не ждёт этого раньше 2027 года. 2
Стоит уточнить, что именно означает эта цифра, потому что её пересказывают как нечто большее. Она считает запросы веб-страниц в сети Cloudflare. Это не трафик в байтах, не время, проведённое в сети, и не весь интернет: бот, забравший страницу на 5 КБ, и человек, открывший видео, засчитываются по одному разу. Люди пользоваться вебом не перестали.
Смысл у цифры уже и дороже. Если вы держите что-либо с публичной точкой HTTP, больше половины обращений к вам делает уже не человек.
Трафик, процессор, кеш и ваши графики
Трафик ботов не бесплатен только потому, что он не злонамеренный.
Очевиднее всего канал: любой обход — это переданные байты, а на тарифе с учётом трафика это прямой счёт. Менее очевиден процессор: краулер, который ходит по динамическим страницам, запускает логику вашего приложения, запросы к базе и рендеринг шаблонов ровно так же, как настоящий запрос, только он не останавливается на одной странице и у него нет сессионного кеша.
Дальше — засорение кеша. Краулеры любят запрашивать URL «длинного хвоста», к которым люди почти не обращаются, и этим вытесняют горячий контент из кеша, ухудшая отклик для живых пользователей. А объём логов искажает аналитику: если половина вашего графика трафика — не клиенты, а вы это не разделили, любое решение о мощностях опирается на неверное число.
Больнее всего мелким операторам достаётся по одному сценарию: краулер находит динамически порождаемое пространство URL — фасетный поиск, календари, комбинации фильтров — и начинает его перебирать. Сайт на сотню страниц контента способен показать миллион адресов, и рано или поздно кто-нибудь попробует забрать их все.
Пять вещей, которые помогают
Сначала посмотрите в логи. Разложите трафик по user agent и по ASN. Соотношение удивляет почти всех.
Относитесь к robots.txt как к просьбе, а не к средству контроля. Воспитанные краулеры его соблюдают. Те, что создают вам проблемы, — часто нет, а некоторые ещё и маскируются, меняя user agent.
Ограничивайте скорость по сети, а не по user agent. Краулер, который врёт о себе, всё равно откуда-то приходит, и лимиты на ASN и на префикс переживают подмену user agent.
Закройте бесконечные пространства URL. Не выводите ссылки на перестановки фильтров вообще: nofollow обход не запрещает, а лишь не поощряет. Блокируйте комбинации параметров запроса, которые вы и не собирались отдавать на обход. И возвращайте 404 вместо того, чтобы порождать страницу под любой ввод.
Кешируйте агрессивно и отдавайте из кеша. Краулер, попавший в закешированный ответ, стоит вам только трафика. Краулер, дошедший до приложения, стоит вам всего.
Root и правила, которые можно прочитать
Здесь важны две вещи, и ни одна из них не выдумана ради блога.
Первая — предсказуемые ресурсы, которыми управляете вы. Каждый VPS и VDS в AVS ISP — это полноценная виртуализация KVM с root-доступом, так что у вас свой nginx, своё ограничение скорости, свои правила fail2ban и свой слой кеширования, настроенные под ваш реальный состав трафика. Нет общей панели, решающей, что вам позволено блокировать, и нет вендорского WAF, правила которого вам не показывают.
Вторая — защита от DDoS входит в каждый тариф и закрывает объёмную часть враждебной автоматики. Вежливая, но дорогая часть — краулеры, которые вас не атакуют, а просто безостановочно читают, — это вопрос мощности и настройки. Именно поэтому важен root.
Тарифы начинаются от 5 €/мес. за VPS, 40 €/мес. за VDS с 4 vCPU и до 160 €/мес. за 16, и 150 €/мес. за выделенный сервер. VPS и VDS работают в Тиране, Скопье, Амстердаме и Дублине, выделенные серверы — в Тиране, Скопье и Амстердаме. Если обслуживание роботов теперь половина вашей нагрузки, возможность честно подобрать под это размер и настройки стоит дороже тарифа, который выглядит дешевле ровно до счёта за трафик.
Кто платит за это большинство
Идёт живой спор о том, является ли обход ради обучения ИИ добросовестным использованием публичной веб-страницы, и решаться он будет не в блоге хостинг-провайдера. Не оспаривается арифметика. Большинство запросов в вебе теперь автоматические, кто-то платит за их обслуживание, и прямо сейчас этот кто-то — владелец исходного сервера.
К каким бы выводам об этике вы ни пришли, решите осознанно, какую долю своих мощностей вы готовы на это пожертвовать. Иначе ваша инфраструктура примет эти расходы на себя по умолчанию.
Источники
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5 июня 2026 года
- Online bot traffic will exceed human traffic by 2027, Cloudflare CEO says, TechCrunch, 19 марта 2026 года