Cloudflare empieza a cobrar a los rastreadores de IA. Qué significa si tienes tu propio servidor.

El 1 de julio de 2026, Cloudflare anunció que su mercado de rastreadores, Pay Per Crawl, se convierte en Pay Per Use: los editores cobran cuando su contenido se usa de verdad —cuando aparece en un resultado de búsqueda con IA o cuando un agente compra acceso bajo demanda—, y no solo cuando un bot lo descarga. El mismo anuncio puso fecha a un cambio mayor. Desde el 15 de septiembre de 2026, en páginas con publicidad, la configuración por defecto de Cloudflare dejará pasar a los rastreadores de búsqueda pero bloqueará el uso para entrenamiento y para agentes, y bloqueará por completo cualquier rastreador mixto que no permita al propietario del sitio elegir entre esos tres usos. Se aplicará a clientes nuevos, a sitios nuevos en cuentas existentes y a los usuarios del plan gratuito que no hayan cambiado sus ajustes para entonces. 1

Pay Per Crawl tiene un año. Entró en beta cerrada el 1 de julio de 2025: un sitio podía fijar un precio plano por petición y devolver un HTTP 402 Payment Required a cualquier rastreador que no declarara intención de pago, con Cloudflare actuando como comerciante registrado. 2

El código 402 llevaba tres décadas en la especificación de HTTP, reservado y prácticamente sin usar, esperando a que alguien le encontrara utilidad. Ya la tiene.

Por fin un peaje que funciona

El mes pasado escribimos sobre la aritmética que hay detrás. Cloudflare Radar situó en junio las peticiones automatizadas en el 57,5 % del tráfico HTML, la primera vez que hay más máquinas que personas en la web. 3 El propio anuncio de Cloudflare del 1 de julio dice lo mismo de forma más libre: bots y agentes generan ya más de la mitad de todas las peticiones web. 1

Hasta ahora, todo el coste de servir eso recaía en quien opera el servidor de origen, sin mecanismo para recuperarlo y sin forma realista de negarse, porque robots.txt es una petición y no un mecanismo de control. Pay Per Crawl es la primera vez que la web tiene un peaje que funciona en lugar de un cartel educado.

Que eso te parezca bien depende de si eres editor o construyes modelos. Lo que no se discute es que cambia el valor por defecto: de «rastrea libremente y ya discutiremos» a «primero negocia».

La pega: tienes que estar detrás de Cloudflare

Hay una limitación práctica que atraviesa todo esto. Solo funciona si estás detrás de Cloudflare.

La aplicación vive en el borde, en una red que ve la petición antes que tu origen, que guarda la identidad del rastreador y su relación de pago, y que puede devolver un 402 en tu nombre. Es un servicio real. Y es también una concentración mayor de poder en la parte menos visible de la pila, esa que hace dos semanas pasó una tarde demostrando lo poco que nadie ve dentro de ella, como contamos la semana pasada.

Así que la web gana un mecanismo de pago, y el precio de usarlo es una dependencia más profunda de una sola empresa situada entre tú y tus lectores. Nada de esto requiere mala intención. Un problema difícil de coordinación lo resuelve quien es lo bastante grande para resolverlo, y quien lo resuelve pone las condiciones.

Sin peaje

Si tienes tus propios servidores y prefieres no entregarle la relación a un intermediario, las herramientas son menos elegantes, pero son tuyas.

Limita la tasa por ASN y por prefijo, no por user agent: los rastreadores rotan el user agent, pero salir de su espacio de direcciones les cuesta mucho más. Google, Bing y OpenAI publican rangos IP legibles por máquina para sus rastreadores, y un DNS inverso con confirmación directa te dirá si eso que dice llamarse Googlebot viene de verdad de Google. Los rastreadores que probablemente te estén costando dinero son justo los que no hacen ninguna de las dos cosas.

Sirve respuestas baratas a visitantes caros. Cachear de forma agresiva convierte un rastreo en gasto de tráfico y no en tiempo de CPU y de base de datos.

Elimina los espacios infinitos de URL. La búsqueda por facetas, los calendarios y las permutaciones de filtros convierten cien páginas de contenido en un millón de URL descargables.

Publica lo que quieras que se rastree y cierra el resto. Un resumen público generoso más una versión completa tras autenticación es un instrumento tosco, pero funciona en todas partes y no necesita la cooperación de nadie.

Y mide primero, porque no puedes decidir una política sobre un coste que no has cuantificado.

Nosotros vendemos la máquina y nos apartamos

La nuestra es la posición poco lucida: no estamos en el camino, y no queremos estarlo.

Todos los VPS y VDS de AVS ISP son virtualización KVM completa con acceso root real, así que cada control de esa lista lo implementas tú: tu nginx, tus límites, tu caché, tu fail2ban, tus reglas, legibles y modificables por ti. No hay un WAF de fabricante cuya lógica no puedas inspeccionar ni un panel decidiendo qué tráfico tienes permitido rechazar.

La protección DDoS va incluida en todos los planes y cubre el extremo hostil de la automatización. El extremo educado pero caro es una cuestión de capacidad y configuración, y por eso tener root importa hoy más que antes.

Los planes empiezan en 5 €/mes para un VPS, 40 €/mes para un VDS de 4 vCPU hasta 160 €/mes con 16, y 150 €/mes para un servidor dedicado. Los VPS y VDS están en Tirana, Skopie, Ámsterdam y Dublín; los dedicados, en Tirana, Skopie y Ámsterdam. Aceptamos criptomonedas, sin KYC.

Lo que está comprando la web

Pay Per Crawl es una respuesta ingeniosa a un problema real, y esperamos que funcione. También creemos que conviene nombrar el intercambio con claridad. La web compra un mercado de contenidos que funciona a cambio de más intermediación, justo cuando el sector acaba de pasar dos semanas sin poder decir qué intermediario se le había roto.

Si lo usas, úsalo a conciencia. Y conserva un camino a tu origen que no dependa de él.

Fuentes

1. Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules, Cloudflare, 1 de julio de 2026
2. Introducing pay per crawl: enabling content owners to charge AI crawlers for access, Cloudflare, 1 de julio de 2025
3. Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5 de junio de 2026