Cloudflare počinje naplaćivati alatima za obilaženje umjetne inteligencije. Što to znači ako držite vlastiti poslužitelj.
Cloudflare je 1. srpnja 2026. objavio da se njegovo tržište za alate koji obilaze web, Pay Per Crawl, pretvara u Pay Per Use: izdavači dobivaju novac kad se njihov sadržaj stvarno upotrijebi — kad se pojavi u odgovoru pretraživanja s umjetnom inteligencijom ili kad agent na zahtjev kupi pristup — a ne samo kad ga bot preuzme. Istom je objavom dobila datum i veća promjena. Od 15. rujna 2026. na stranicama s oglasima Cloudflareove će zadane postavke propuštati tražilice, ali blokirati uporabu za treniranje i za agente, te posve blokirati svaki mješoviti alat koji vlasniku stranice ne dopušta izbor između te tri namjene. To vrijedi za nove klijente, za nove stranice na postojećim računima i za korisnike besplatne razine koji do tada ne promijene postavke. 1
Sam Pay Per Crawl star je godinu dana. U zatvorenu je betu ušao 1. srpnja 2025.: stranica je mogla odrediti fiksnu cijenu po zahtjevu i vratiti HTTP 402 Payment Required svakom alatu koji nije iskazao namjeru plaćanja, uz Cloudflare u ulozi trgovca na računu. 2
Kod 402 ležao je u specifikaciji HTTP-a tri desetljeća, rezerviran i praktički neupotrijebljen, čekajući da mu netko nađe svrhu. Dočekao je.
Napokon rampa koja radi
Prošlog smo mjeseca pisali o aritmetici koja stoji ispod toga. Cloudflare Radar je u lipnju automatizirane zahtjeve stavio na 57,5 % HTML prometa, prvi put da strojeva na webu ima više nego ljudi. 3 Sama Cloudflareova objava od 1. srpnja isto kaže slobodnije: botovi i agenti danas stvaraju više od polovice svih web zahtjeva. 1
Dosad je cijeli trošak posluživanja toga padao na vlasnike izvornih poslužitelja, bez mehanizma naplate i bez stvarne mogućnosti odbijanja, jer je robots.txt molba, a ne sredstvo nadzora. Pay Per Crawl prvi je put da web ima rampu koja radi, a ne pristojnu obavijest.
Je li to dobro, ovisi o tome jeste li izdavač ili gradite modele. Ne raspravlja se o tome da se zadana postavka mijenja iz „obilazi slobodno, poslije ćemo raspravljati” u „prvo se dogovori”.
Kvaka: morate stajati iza Cloudflarea
Kroz sve to provlači se jedno praktično ograničenje. To radi samo ako stojite iza Cloudflarea.
Provedba živi na rubu mreže, koja zahtjev vidi prije vašeg izvora, drži identitet alata i platni odnos s njim te u vaše ime može vratiti 402. To jest prava usluga. To je ujedno i daljnje zgušnjavanje moći u najmanje vidljivom dijelu stoga — onom koji je prije dva tjedna cijelo poslijepodne pokazivao koliko malo itko u njemu vidi, o čemu smo pisali prošli tjedan.
Web tako dobiva platni mehanizam, a cijena njegove uporabe dublja je ovisnost o jednoj tvrtki koja stoji između vas i vaših čitatelja. Ništa od toga ne traži zlu namjeru. Težak problem koordinacije rješava onaj tko je dovoljno velik da ga riješi, a tko ga riješi, taj postavlja uvjete.
Bez rampe
Ako držite vlastite poslužitelje i radije odnos ne biste predali posredniku, alati su manje elegantni, ali su vaši.
Brzinu ograničavajte po ASN-u i prefiksu, a ne po user agentu, jer alati mijenjaju user agent, ali iz svojeg adresnog prostora ne izlaze ni približno tako lako. Google, Bing i OpenAI objavljuju strojno čitljive IP raspone svojih alata, a obrnuti DNS s potvrdom unaprijed reći će vam je li ono što se predstavlja kao Googlebot doista došlo od Googlea. Novca vas najvjerojatnije stoje upravo oni koji ne rade ni jedno ni drugo.
Skupim posjetiteljima poslužujte jeftine odgovore. Agresivna predmemorija znači da vas obilaženje košta promet, a ne procesorsko vrijeme i vrijeme baze.
Ubijte beskonačne prostore URL-ova. Fasetno pretraživanje, kalendari i permutacije filtara pretvaraju stotinu stranica sadržaja u milijun adresa koje se mogu preuzeti.
Objavite ono što želite dati na obilaženje, a ostalo zatvorite. Velikodušan javni sažetak uz punu verziju iza prijave grub je alat, ali radi svugdje i ne treba ničiji pristanak.
I prvo izmjerite, jer ne možete donijeti odluku o trošku koji niste izračunali.
Mi prodajemo stroj i mičemo se s puta
Naš je položaj neugledan: nismo na putu i ne želimo biti.
Svaki VPS i VDS AVS ISP-a puna je KVM virtualizacija s pravim root pristupom, pa svaku mjeru s onog popisa provodite sami: vaš nginx, vaša ograničenja, vaša predmemorija, vaš fail2ban, vaša pravila, čitljiva i promjenjiva s vaše strane. Nema proizvođačeva WAF-a čiju logiku ne možete pregledati ni upravljačke ploče koja odlučuje koji promet smijete odbiti.
Zaštita od DDoS-a uključena je u svaku tarifu i pokriva neprijateljski kraj automatike. Pristojan, ali skup kraj pitanje je kapaciteta i postavki, i upravo zato posjedovanje roota danas znači više nego prije.
Tarife počinju od 5 €/mj. za VPS, 40 €/mj. za VDS s 4 vCPU-a do 160 €/mj. za 16, i 150 €/mj. za namjenski poslužitelj. VPS i VDS rade u Tirani, Skoplju, Amsterdamu i Dublinu, namjenski poslužitelji u Tirani, Skoplju i Amsterdamu. Primamo kriptovalute, bez KYC-a.
Što web kupuje
Pay Per Crawl domišljat je odgovor na stvaran problem i očekujemo da će raditi. Ipak mislimo da trgovinu vrijedi nazvati pravim imenom. Web kupuje funkcionalno tržište sadržaja prihvaćajući još više posredovanja, i to u trenutku kad industrija dva tjedna nije mogla reći koji joj se posrednik zapravo pokvario.
Ako ga koristite, koristite ga svjesno. I držite do svojeg izvora put koji o njemu ne ovisi.
Izvori
- Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules, Cloudflare, 1. srpnja 2026.
- Introducing pay per crawl: enabling content owners to charge AI crawlers for access, Cloudflare, 1. srpnja 2025.
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5. lipnja 2026.