Botovi su sada većina web zahtjeva: Cloudflare ih broji 57,5 %
Izvršni direktor Cloudflarea Matthew Prince rekao je 3. lipnja 2026. da na automatizirane sustave sada otpada 57,5 % HTTP zahtjeva za web stranicama, naspram 42,5 % od ljudi. Cloudflare je taj preokret izmjerio prvi put i pripisao ga agentnoj umjetnoj inteligenciji. 1 Na SXSW-u u ožujku govorio je da to ne očekuje prije 2027. 2
Vrijedi biti precizan oko toga što ta brojka jest, jer se prepričava kao nešto veće. Ona broji zahtjeve za web stranicama u Cloudflareovoj mreži. Nije riječ o prometu u bajtovima, ni o vremenu provedenom na mreži, ni o cijelom internetu: bot koji dohvati stranicu od 5 KB i čovjek koji otvori videozapis broje se po jednom. Ljudi nisu prestali koristiti web.
Značenje je uže i skuplje. Ako držite bilo što s javnom HTTP točkom, više od polovice onoga što se od vas traži više ne traži čovjek.
Promet, procesor, predmemorija i vaši grafikoni
Promet botova nije besplatan samo zato što nije zlonamjeran.
Najočitiji je prijenos: svako je obilaženje preneseni promet, a na tarifi s mjerenjem to je izravan račun. Manje je očit procesor: alat za obilaženje koji hoda po dinamičkim stranicama pokreće logiku vaše aplikacije, upite baze i iscrtavanje predložaka jednako kao i pravi zahtjev, samo što ne staje na jednoj stranici i nema predmemoriju sesije.
Tu je i zagađenje predmemorije. Alati za obilaženje vole tražiti URL-ove iz „dugog repa”, kojima ljudi gotovo i ne pristupaju, pa iz predmemorije istiskuju vruć sadržaj i pogoršavaju odziv stvarnim korisnicima. Količina zapisa iskrivljuje vam analitiku: ako polovica vašeg grafikona prometa nisu klijenti, a niste to razdvojili, svaka odluka o kapacitetu počiva na krivoj brojci.
Malim operatorima najviše šteti jedan scenarij: alat za obilaženje pronađe dinamički generiran prostor URL-ova — fasetno pretraživanje, kalendare, kombinacije filtara — i krene ga nabrajati. Stranica sa stotinu stranica sadržaja može prikazati milijun adresa, a prije ili poslije netko će pokušati dohvatiti sve.
Pet stvari koje pomažu
Prvo pogledajte zapise. Razdvojite promet po user agentu i po ASN-u. Omjer iznenadi gotovo svakoga.
Prema robots.txt odnosite se kao prema molbi, a ne kao prema sredstvu nadzora. Pristojni ga alati poštuju. Oni koji vam stvaraju probleme često ne poštuju, a neki se još i skrivaju mijenjajući user agent.
Brzinu ograničavajte po mreži, a ne po user agentu. Alat koji laže o sebi svejedno odnekud dolazi, a ograničenja po ASN-u i po prefiksu preživljavaju podmetanje user agenta.
Zatvorite beskonačne prostore URL-ova. Nemojte uopće ispisivati poveznice na permutacije filtara, jer nofollow obilaženje ne zabranjuje nego samo obeshrabruje; blokirajte kombinacije parametara upita koje niste namjeravali dati na obilaženje; i vraćajte 404 umjesto da generirate stranicu za svaki mogući unos.
Predmemorirajte agresivno i poslužujte iz predmemorije. Alat koji pogodi predmemoriran odgovor košta vas samo promet. Alat koji dođe do aplikacije košta vas sve.
Root i pravila koja možete pročitati
Ovdje su važne dvije stvari, i nijedna nije izmišljena za potrebe bloga.
Prva su predvidljivi resursi kojima upravljate vi. Svaki VPS i VDS AVS ISP-a puna je KVM virtualizacija s pravim root pristupom, pa je svaka mjera s gornjeg popisa vaša: vaš nginx, vaša ograničenja brzine, vaša predmemorija, vaš fail2ban, vaša pravila, čitljiva i promjenjiva s vaše strane. Nema zajedničke upravljačke ploče koja odlučuje što smijete blokirati, ni proizvođačeva WAF-a čija vam se logika ne pokazuje.
Druga je da je zaštita od DDoS-a uključena u svaku tarifu i pokriva neprijateljski kraj automatike. Pristojan, ali skup kraj — alati koji vas ne napadaju, nego vas samo neumorno čitaju — pitanje je kapaciteta i postavki. Upravo zato root danas znači više nego prije.
Tarife počinju od 5 €/mj. za VPS, 40 €/mj. za VDS s 4 vCPU-a do 160 €/mj. za 16, i 150 €/mj. za namjenski poslužitelj. VPS i VDS rade u Tirani, Skoplju, Amsterdamu i Dublinu, namjenski poslužitelji u Tirani, Skoplju i Amsterdamu. Ako je posluživanje robota danas polovica vašeg opterećenja, mogućnost da to pošteno dimenzionirate i posložite vrijedi više od tarife koja izgleda jeftinije sve do računa za promet.
Tko plaća tu većinu
Traje živa rasprava o tome je li obilaženje radi treniranja umjetne inteligencije poštena uporaba javne web stranice, i neće je riješiti blog jednog pružatelja hostinga. Ne raspravlja se o aritmetici. Većina zahtjeva koji pogađaju web sada je automatizirana, netko plaća njihovo posluživanje, a taj je netko trenutačno vlasnik izvornog poslužitelja.
Do kakvog god zaključka o etici došli, svjesno odlučite koji ste dio svojeg kapaciteta spremni pokloniti. Ako ne odlučite, vaša infrastruktura taj trošak preuzima sama od sebe.
Izvori
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5. lipnja 2026.
- Online bot traffic will exceed human traffic by 2027, Cloudflare CEO says, TechCrunch, 19. ožujka 2026.