Cloudflare lässt KI-Crawler zahlen. Was das bedeutet, wenn Sie Ihren eigenen Server betreiben.

Am 1. Juli 2026 erklärte Cloudflare, aus seinem Crawler-Marktplatz Pay Per Crawl werde Pay Per Use: Publisher werden bezahlt, wenn ihre Inhalte tatsächlich genutzt werden – wenn sie in einem KI-Suchergebnis auftauchen oder ein Agent bei Bedarf Zugriff kauft –, und nicht mehr nur dann, wenn ein Bot etwas abruft. Dieselbe Ankündigung setzte einer größeren Änderung ein Datum: Ab dem 15. September 2026 erlauben Cloudflares Voreinstellungen auf Seiten mit Werbung die Suchmaschinen-Crawler, blockieren aber Training und Agentennutzung – und blockieren jeden Misch-Crawler vollständig, der Seitenbetreibern keine Wahl zwischen den dreien lässt. Das gilt für Neukunden, für neue Websites in bestehenden Konten und für Kunden im Gratistarif, die ihre Einstellungen bis dahin nicht geändert haben. 1

Pay Per Crawl selbst ist ein Jahr alt. Es ging am 1. Juli 2025 in die geschlossene Beta und erlaubt einer Seite, einen festen Preis je Anfrage zu setzen und jedem Crawler ohne hinterlegte Zahlungsabsicht ein HTTP 402 Payment Required zurückzugeben – mit Cloudflare als Zahlungsempfänger. 2

HTTP 402 stand drei Jahrzehnte lang in der HTTP-Spezifikation, reserviert und praktisch ungenutzt, und wartete darauf, dass jemand eine Verwendung dafür findet. Hier sind wir.

Endlich eine funktionierende Mautstelle

Über die zugrunde liegende Rechnung haben wir vergangenen Monat geschrieben. Cloudflare Radar bezifferte den Anteil automatisierter Anfragen am HTML-Verkehr im Juni auf 57,5 % – zum ersten Mal sind Maschinen im Web zahlreicher als Menschen. 3 Cloudflares Ankündigung vom 1. Juli sagt dasselbe etwas lockerer: Bots und Agenten machen inzwischen mehr als die Hälfte aller Web-Anfragen aus. 1

Bisher fielen die Kosten dafür vollständig bei den Betreibern der Ursprungsserver an – ohne Mechanismus, sie hereinzuholen, und ohne realistische Möglichkeit abzulehnen, denn robots.txt ist eine Bitte und keine Kontrolle. Pay Per Crawl ist das erste Mal, dass das Web eine funktionierende Mautstelle hat statt eines höflichen Hinweisschilds.

Ob Sie das gut finden, hängt davon ab, ob Sie Publisher sind oder Modelle bauen. Nicht strittig ist, dass es die Voreinstellung verschiebt: von „frei crawlen und hinterher streiten“ zu „erst verhandeln“.

Der Haken: Sie müssen hinter Cloudflare sitzen

Eine praktische Einschränkung zieht sich durch das Ganze: Es funktioniert nur, wenn Sie hinter Cloudflare sitzen.

Die Durchsetzung lebt am Netzrand – in einem Netz, das die Anfrage vor Ihrem Ursprungsserver sieht, das die Identität des Crawlers und die Zahlungsbeziehung hält und das in Ihrem Namen ein 402 zurückgeben kann. Das ist eine echte Leistung. Es ist zugleich eine weitere Machtkonzentration im unsichtbarsten Teil des Stacks – der vor zwei Wochen einen Nachmittag damit verbrachte vorzuführen, wie wenig irgendjemand davon sehen kann, wie wir vergangene Woche beschrieben haben.

Das Web bekommt also einen Zahlungsmechanismus, und der Preis dafür ist eine tiefere Abhängigkeit von einem Unternehmen, das zwischen Ihnen und Ihren Leserinnen und Lesern sitzt. Nichts davon setzt böse Absicht voraus. Ein schwieriges Koordinationsproblem wird von dem gelöst, der groß genug dafür ist – und wer es löst, setzt die Bedingungen.

Ohne Mautstelle

Wenn Sie eigene Server betreiben und die Beziehung lieber nicht an eine Zwischeninstanz abgeben wollen, sind die Werkzeuge weniger elegant, aber sie gehören Ihnen.

Begrenzen Sie die Rate nach ASN und Präfix statt nach User-Agent: Crawler wechseln User-Agents, ihren Adressraum verlassen sie längst nicht so leicht. Google, Bing und OpenAI veröffentlichen maschinenlesbare IP-Bereiche für ihre Crawler, und ein vorwärts bestätigter Reverse-DNS-Eintrag sagt Ihnen, ob etwas, das sich Googlebot nennt, tatsächlich von Google kam. Die Crawler, die Sie am ehesten Geld kosten, tun weder das eine noch das andere.

Liefern Sie teuren Besuchern billige Antworten. Aggressives Caching sorgt dafür, dass ein Crawl Sie Datenvolumen kostet statt CPU- und Datenbankzeit.

Räumen Sie unendliche URL-Räume ab. Facettensuche, Kalender und Filterkombinationen machen aus hundert Inhaltsseiten eine Million abrufbarer URLs.

Veröffentlichen Sie, was gecrawlt werden soll, und schützen Sie den Rest. Eine großzügige öffentliche Zusammenfassung plus eine authentifizierte Vollversion ist ein grobes Werkzeug, das überall funktioniert und niemandes Mitwirkung braucht.

Und messen Sie zuerst: Über Kosten, die Sie nicht beziffert haben, können Sie keine Richtlinienentscheidung treffen.

Wir verkaufen die Maschine und gehen aus dem Weg

Unsere Position ist die unglamouröse: Wir sind nicht im Pfad, und wir wollen es auch nicht sein.

Jeder VPS und VDS von AVS ISP ist vollständige KVM-Virtualisierung mit echtem Root-Zugriff – jede Maßnahme aus der obigen Liste setzen Sie selbst um: Ihr nginx, Ihre Rate Limits, Ihr Caching, Ihr fail2ban, Ihre Regeln, von Ihnen lesbar und änderbar. Keine Hersteller-WAF, deren Logik Sie nicht einsehen können, und kein Control Panel, das entscheidet, welchen Verkehr Sie ablehnen dürfen.

DDoS-Schutz ist in jedem Paket enthalten und deckt das feindliche Ende der Automatisierung ab. Das höfliche, aber teure Ende ist eine Frage von Kapazität und Konfiguration – und deshalb zählt eigener Root-Zugriff heute mehr als früher.

Die Pakete beginnen bei 5 €/Monat für einen VPS, 40 €/Monat für einen VDS mit 4 vCPU (bis 160 €/Monat bei 16) und 150 €/Monat für Bare Metal. VPS und VDS laufen in Tirana, Skopje, Amsterdam und Dublin, Bare Metal in Tirana, Skopje und Amsterdam. Krypto akzeptiert, kein KYC.

Was das Web dafür kauft

Pay Per Crawl ist eine kluge Antwort auf ein echtes Problem, und wir rechnen damit, dass es funktioniert. Wir halten es zugleich für angebracht, den Tausch klar zu benennen: Das Web kauft sich einen funktionierenden Inhaltemarkt, indem es mehr Zwischeninstanzen hinnimmt – zu einem Zeitpunkt, an dem die Branche gerade zwei Wochen damit zugebracht hat, nicht sagen zu können, welche Zwischeninstanz eigentlich ausgefallen war.

Wenn Sie es nutzen, nutzen Sie es bewusst. Und behalten Sie einen Weg zu Ihrem Ursprungsserver, der nicht davon abhängt.

Quellen

1. Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules, Cloudflare, 1. Juli 2026
2. Introducing pay per crawl: enabling content owners to charge AI crawlers for access, Cloudflare, 1. Juli 2025
3. Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5. Juni 2026