Cloudflare-i nis t'i faturojë crawler-at e IA-së. Çfarë do të thotë nëse mbani serverin tuaj.
Më 1 korrik 2026, Cloudflare-i tha se tregu i tij i crawler-ave, Pay Per Crawl, po shndërrohet në Pay Per Use: botuesit paguhen kur përmbajtja e tyre përdoret vërtet — kur shfaqet në një rezultat kërkimi me IA ose kur një agjent blen akses te ajo sipas kërkesës — e jo vetëm kur një bot e merr. I njëjti njoftim i vuri datë një ndryshimi më të madh. Nga 15 shtatori 2026, në faqet që mbajnë reklama, parazgjedhjet e Cloudflare-it do t'i lejojnë crawler-at e kërkimit, por do të bllokojnë përdorimin për stërvitje dhe për agjentë, dhe do të bllokojnë krejtësisht çdo crawler të përzier që nuk e lë pronarin e site-it të zgjedhë mes të treve. Kjo vlen për klientët e rinj, për site-t e reja në llogari ekzistuese dhe për klientët e nivelit falas që nuk i kanë ndryshuar cilësimet deri atëherë. 1
Vetë Pay Per Crawl është njëvjeçar. Hyri në beta private më 1 korrik 2025, duke i lejuar një site-i të vendosë një çmim fiks për kërkesë dhe të kthejë një HTTP 402 Payment Required ndaj çdo crawler-i që nuk ka paraqitur qëllim pagese, me Cloudflare-in në rolin e tregtarit të regjistruar. 2
HTTP 402 rri në specifikimin e HTTP-së prej tri dekadash, i rezervuar dhe praktikisht i papërdorur, duke pritur që dikush t'i gjente një përdorim. Ja ku jemi.
Më në fund një kabinë pagese që punon
Muajin e kaluar shkruam për aritmetikën që qëndron poshtë. Cloudflare Radar i vendosi kërkesat e automatizuara në 57,5% të trafikut HTML në qershor — hera e parë që makinat i tejkalojnë njerëzit në ueb. 3 Vetë njoftimi i Cloudflare-it i 1 korrikut e bën të njëjtën pikë më lirshëm: botët dhe agjentët nxisin tani më shumë se gjysmën e të gjitha kërkesave në ueb. 1
Deri tani gjithë kostoja e shërbimit ndaj kësaj u ka rënë operatorëve të origjinës, pa mekanizëm për ta rikuperuar dhe pa mënyrë realiste për ta refuzuar, ngaqë robots.txt është kërkesë e jo kontroll. Pay Per Crawl është hera e parë që uebi ka një kabinë pagese që punon, e jo një njoftim të sjellshëm.
Nëse e quani këtë gjë të mirë, varet nga fakti nëse jeni botues apo ndërtues modelesh. Ajo që nuk diskutohet është se e ndryshon parazgjedhjen nga „zvarrit lirshëm dhe diskutojmë më vonë“ në „negocio më parë“.
Kthesa: duhet të jeni pas Cloudflare-it
Një kufizim praktik e përshkon të gjithën. Kjo funksionon vetëm nëse jeni pas Cloudflare-it.
Zbatimi jeton në skaj, në një rrjet që e sheh kërkesën para se ta shohë origjina juaj, që mban identitetin e crawler-it dhe marrëdhënien e pagesës, dhe që mund të kthejë 402 në emrin tuaj. Ky është shërbim i vërtetë. Është gjithashtu përqendrim i mëtejshëm i pushtetit në pjesën më pak të dukshme të stekut — e cila dy javë më parë kaloi një pasdite duke demonstruar sa pak mund të shohë kushdo brenda saj, siç e trajtuam javën e kaluar.
Pra uebi merr një mekanizëm pagese, dhe çmimi i përdorimit të tij është një varësi më e thellë nga një kompani e vetme që rri mes jush dhe lexuesve tuaj. Asgjë nga kjo nuk kërkon qëllim të keq. Një problem i vështirë koordinimi zgjidhet nga kushdo që është mjaftueshëm i madh për ta zgjidhur, dhe kushdo që e zgjidh, i vendos kushtet.
Pa kabinë pagese
Nëse mbani serverët tuaj dhe preferoni të mos ia dorëzoni marrëdhënien një ndërmjetësi, mjetet janë më pak elegante, por janë tuajat.
Kufizoni shpejtësinë sipas ASN-së dhe prefiksit e jo sipas user agent-it, sepse crawler-at i rrotullojnë user agent-ët, por nuk dalin nga hapësira e tyre e adresave po aq lehtë. Google-i, Bing-u dhe OpenAI publikojnë intervale IP të lexueshme nga makina për crawler-at e tyre, dhe DNS-ja e kundërt e konfirmuar përpara do t'ju thotë nëse diçka që e quan veten Googlebot erdhi vërtet nga Google-i. Crawler-at që kanë më shumë gjasa t'ju kushtojnë para janë ata që nuk bëjnë asnjërën.
Shërbejini përgjigje të lira vizitorëve të shtrenjtë. Cache agresive do të thotë se një zvarritje ju kushton gjerësi brezi e jo kohë CPU-je dhe baze të dhënash.
Vrisni hapësirat e pafundme të URL-ve. Kërkimi me faseta, kalendarët dhe permutacionet e filtrave e kthejnë njëqind faqe përmbajtjeje në një milion URL të marrshme.
Publikoni atë që doni të zvarritet dhe mbyllni pjesën tjetër. Një përmbledhje publike bujare plus një version i plotë me vërtetim është mjet i trashë që funksionon kudo dhe nuk ka nevojë për bashkëpunimin e askujt.
Dhe matni fillimisht, sepse nuk mund të merrni vendim politike për një kosto që nuk e keni matur.
Ne e shesim makinerinë dhe hiqemi nga mesi
Yni është pozicioni pa shkëlqim: nuk jemi në rrugë, dhe nuk duam të jemi.
Çdo VPS dhe VDS i AVS ISP është virtualizim i plotë KVM me akses të vërtetë si root, kështu që çdo kontroll në atë listë është i juaji për ta zbatuar: nginx-i juaj, kufijtë tuaj të shpejtësisë, cache-i juaj, fail2ban-i juaj, rregullat tuaja, të lexueshme dhe të ndryshueshme prej jush. Nuk ka WAF shitësi logjikën e të cilit nuk mund ta shqyrtoni, dhe as panel kontrolli që vendos cilin trafik ju lejohet të refuzoni.
Mbrojtja nga DDoS-i përfshihet në çdo plan, çka mbulon skajin armiqësor të automatizimit. Skaji i sjellshëm, por i kushtueshëm, është çështje kapaciteti dhe konfigurimi, dhe pikërisht prandaj zotërimi i root-it ka më shumë rëndësi se dikur.
Planet nisin nga 5 €/muaj për një VPS, 40 €/muaj për një VDS me 4 vCPU duke u ngjitur në 160 €/muaj me 16, dhe 150 €/muaj për bare metal. VPS-të dhe VDS-të punojnë në Tiranë, Shkup, Amsterdam dhe Dublin, bare metal-i në Tiranë, Shkup dhe Amsterdam. Pranohet kripto, pa KYC.
Çfarë po blen uebi
Pay Per Crawl është përgjigje e zgjuar ndaj një problemi të vërtetë, dhe presim që të funksionojë. Mendojmë gjithashtu se ia vlen ta emërtojmë qartë shkëmbimin. Uebi po blen një treg përmbajtjeje funksional duke pranuar më shumë ndërmjetësim, pikërisht në një çast kur industria sapo kaloi dy javë pa mundur të thoshte se cili ndërmjetës kishte prishur vërtet.
Nëse e përdorni, përdoreni me qëllim. Dhe mbani një rrugë drejt origjinës suaj që nuk varet prej tij.
Burimet
- Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules, Cloudflare, 1 korrik 2026
- Introducing pay per crawl: enabling content owners to charge AI crawlers for access, Cloudflare, 1 korrik 2025
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share, Tech Times, 5 qershor 2026