Bots stellen inzwischen die Mehrheit der Web-Anfragen: Cloudflare nennt 57,5 %

Am 3. Juni 2026 erklärte Cloudflare-Chef Matthew Prince, automatisierte Systeme machten inzwischen 57,5 % der HTTP-Anfragen nach Webseiten aus, gegenüber 42,5 % von Menschen. Es ist das erste Mal, dass Cloudflare diesen Wendepunkt misst, und er führt ihn auf agentische KI zurück. 1 Auf der SXSW im März hatte er noch gesagt, er rechne damit erst 2027. 2

Man sollte genau sagen, was diese Zahl ist, denn sie wird gern als etwas Größeres weitergereicht. Sie zählt Anfragen nach Webseiten im Netz von Cloudflare. Sie ist weder Datenvolumen noch Verweildauer und auch nicht das ganze Internet: Ein Bot, der eine 5 KB große Seite holt, und ein Mensch, der ein Video öffnet, zählen beide einmal. Die Menschen haben nicht aufgehört, das Web zu benutzen.

Was sie bedeutet, ist enger gefasst und teurer. Wer irgendetwas mit einem öffentlichen HTTP-Endpunkt betreibt, wird in mehr als der Hälfte der Fälle nicht mehr von einem Menschen angefragt.

Datenvolumen, CPU, Cache – und Ihre Diagramme

Bot-Verkehr ist nicht deshalb kostenlos, weil er nicht bösartig ist.

Am offensichtlichsten ist das Datenvolumen: Jeder Crawl ist Transfer, und bei volumenabhängigem Hosting ist das eine direkte Rechnung. Weniger offensichtlich ist die CPU. Ein Crawler, der dynamische Seiten abruft, kann Ihre Anwendungslogik, Ihre Datenbankabfragen und Ihr Template-Rendering genauso auslösen wie eine echte Anfrage – nur hört er nicht nach einer Seite auf und hat keinen Sitzungscache.

Dazu kommt die Verunreinigung des Caches. Crawler fragen bevorzugt Long-Tail-URLs ab, die kaum oder gar keinen menschlichen Verkehr haben; das verdrängt heiße Inhalte aus Ihrem Cache und verschlechtert die Leistung für echte Nutzer. Und das Logvolumen verzerrt Ihre Auswertungen: Wenn die Hälfte Ihrer Verkehrskurve keine Kundschaft ist und Sie das nicht getrennt haben, beruht jede Kapazitätsentscheidung auf einer falschen Zahl.

Am härtesten trifft kleine Betreiber das Muster, bei dem ein Crawler einen dynamisch erzeugten URL-Raum entdeckt – Facettensuche, Kalender, Filterkombinationen – und ihn vollständig durchgeht. Eine Website mit hundert Inhaltsseiten kann eine Million URLs anbieten, und irgendetwas wird irgendwann versuchen, sie alle zu holen.

Fünf Dinge, die helfen

Sehen Sie sich zuerst Ihre Logs an. Teilen Sie den Verkehr nach User-Agent und nach ASN auf. Das Verhältnis überrascht die meisten.

Behandeln Sie robots.txt als Bitte, nicht als Kontrolle. Wohlerzogene Crawler halten sich daran. Die, die Ihnen Probleme machen, häufig nicht – und manche verbergen sich hinter wechselnden User-Agents.

Begrenzen Sie die Rate nach Netz, nicht nach User-Agent. Ein Crawler, der über seine Identität lügt, kommt trotzdem irgendwoher; Limits je ASN und je Präfix überleben gefälschte User-Agents.

Schließen Sie unendliche URL-Räume. Geben Sie Links auf Filterkombinationen gar nicht erst aus – „nofollow“ entmutigt das Crawlen, verhindert es aber nicht –, sperren Sie Parameterkombinationen, die nie gecrawlt werden sollten, und liefern Sie 404 zurück, statt für jede denkbare Eingabe eine Seite zu erzeugen.

Cachen Sie großzügig und liefern Sie aus dem Cache. Ein Crawler, der auf eine gecachte Antwort trifft, kostet Sie nur Datenvolumen. Ein Crawler, der Ihre Anwendung trifft, kostet Sie alles.

Root – und Regeln, die Sie lesen können

Zwei Dinge zählen hier, und keines davon ist ein Feature, das wir für einen Blogbeitrag erfunden hätten.

Das erste sind planbare Ressourcen unter Ihrer Kontrolle. Jeder VPS und VDS von AVS ISP ist vollständige KVM-Virtualisierung mit Root-Zugriff: Sie betreiben Ihr eigenes nginx, Ihr eigenes Rate Limiting, Ihre eigenen fail2ban-Regeln und Ihre eigene Cache-Schicht, abgestimmt auf Ihre tatsächliche Verkehrsmischung. Kein geteiltes Control Panel entscheidet, was Sie sperren dürfen, und keine Hersteller-WAF, deren Regeln Sie nicht lesen können.

Das zweite: DDoS-Schutz ist in jedem Paket enthalten und deckt das volumetrische Ende feindlicher Automatisierung ab. Das höfliche, aber teure Ende – Crawler, die Sie nicht angreifen, sondern unermüdlich lesen – ist eine Frage von Kapazität und Konfiguration. Genau deshalb zählt Root.

Die Pakete beginnen bei 5 €/Monat für einen VPS, 40 €/Monat für einen VDS mit 4 vCPU (bis 160 €/Monat bei 16) und 150 €/Monat für Bare Metal. VPS und VDS laufen in Tirana, Skopje, Amsterdam und Dublin, Bare Metal in Tirana, Skopje und Amsterdam. Wenn das Bedienen von Robotern inzwischen die Hälfte Ihrer Last ist, ist die Möglichkeit, ehrlich dafür zu dimensionieren und zu justieren, mehr wert als ein Paket, das billiger aussieht, bis die Transferrechnung kommt.

Wer die Mehrheit bezahlt

Es läuft eine lebhafte Debatte darüber, ob das Crawlen zum KI-Training eine faire Nutzung einer öffentlichen Webseite ist, und ein Hosting-Blog wird sie nicht entscheiden. Unstrittig ist die Rechnung: Die meisten Anfragen, die im Web ankommen, sind inzwischen automatisiert, irgendjemand bezahlt dafür, sie zu bedienen – und dieser Jemand ist derzeit, wem der Ursprungsserver gehört.

Was immer Sie zur Ethik schließen: Entscheiden Sie bewusst, welchen Anteil Ihrer Kapazität Sie dafür zu spenden bereit sind. Sonst übernimmt Ihre Infrastruktur die Kosten von allein.

Quellen

1. Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5. Juni 2026
2. Online bot traffic will exceed human traffic by 2027, Cloudflare CEO says, TechCrunch, 19. März 2026