Cloudflare تبدأ بمحاسبة زواحف الذكاء الاصطناعي. ماذا يعني ذلك إن كنت تشغّل خادمك بنفسك.

في 1 يوليو 2026 أعلنت Cloudflare أن سوق الزواحف لديها، Pay Per Crawl، يتحول إلى Pay Per Use: يتقاضى الناشرون مقابلًا حين يُستخدم محتواهم فعلًا — حين يظهر في نتيجة بحث بالذكاء الاصطناعي أو حين يشتري وكيل الوصول إليه عند الطلب — لا حين يجلبه روبوت فحسب. ووضع الإعلان نفسه موعدًا لتغيير أكبر. فاعتبارًا من 15 سبتمبر 2026، وعلى الصفحات التي تحمل إعلانات، ستسمح إعدادات Cloudflare الافتراضية بزواحف البحث وتحجب الاستخدام لأغراض التدريب وللوكلاء، وتحجب كليًا أي زاحف مختلط لا يتيح لمالك الموقع الاختيار بين هذه الاستخدامات الثلاثة. وينطبق ذلك على العملاء الجدد، وعلى المواقع الجديدة ضمن الحسابات القائمة، وعلى مستخدمي الباقة المجانية الذين لم يغيّروا إعداداتهم حتى ذلك الحين. 1

أما Pay Per Crawl نفسه فعمره سنة. دخل الاختبار المغلق في 1 يوليو 2025، إذ كان الموقع يحدد سعرًا ثابتًا لكل طلب ويعيد HTTP 402 Payment Required لأي زاحف لم يُبدِ نية الدفع، مع Cloudflare بوصفها التاجر المسجَّل. 2

ظل الرمز 402 في مواصفة HTTP ثلاثة عقود، محجوزًا وغير مستخدم عمليًا، ينتظر من يجد له فائدة. وقد وجدها.

أخيرًا بوابة رسوم تعمل

كتبنا الشهر الماضي عن الحساب الكامن خلف ذلك. فقد وضعت Cloudflare Radar الطلبات الآلية عند 57.5% من حركة HTML في يونيو، وهي المرة الأولى التي يفوق فيها عدد الآلات عدد البشر على الويب. 3 وإعلان Cloudflare نفسه في 1 يوليو يقول الشيء ذاته بصياغة أوسع: الروبوتات والوكلاء يولّدون اليوم أكثر من نصف طلبات الويب كلها. 1

وحتى الآن كانت كلفة خدمة ذلك كله تقع على مشغّلي الخوادم الأصلية، بلا آلية لاستردادها وبلا وسيلة واقعية للرفض، لأن robots.txt طلب لا أداة تحكم. وPay Per Crawl هو أول مرة يحصل فيها الويب على بوابة رسوم تعمل بدل لافتة مهذبة.

وهل هذا جيد؟ يتوقف ذلك على كونك ناشرًا أو صانع نماذج. وما لا يُختلف عليه أنه يغيّر الوضع الافتراضي من «ازحف بحرية ولنتجادل لاحقًا» إلى «تفاوض أولًا».

المأخذ: عليك أن تكون خلف Cloudflare

ثمة قيد عملي يسري على هذا كله: لا يعمل إلا إن كنت خلف Cloudflare.

فالتنفيذ يقع على الحافة، في شبكة ترى الطلب قبل خادمك الأصلي، وتحتفظ بهوية الزاحف وعلاقته المالية، وتستطيع إعادة 402 نيابةً عنك. وهذه خدمة حقيقية. وهي كذلك تركيز إضافي للنفوذ في أقل أجزاء المنظومة وضوحًا — وهو الجزء الذي أمضى قبل أسبوعين بعد ظهر يوم كامل يبرهن كم يرى أي أحد داخله، كما كتبنا الأسبوع الماضي.

وهكذا يحصل الويب على آلية دفع، وثمن استخدامها اعتماد أعمق على شركة واحدة تقف بينك وبين قرائك. ولا يستلزم شيء من ذلك سوء نية. فمشكلة تنسيق صعبة يحلّها من هو كبير بما يكفي لحلّها، ومن يحلّها يضع الشروط.

من دون بوابة رسوم

إن كنت تشغّل خوادمك بنفسك وتفضّل ألا تسلّم العلاقة إلى وسيط، فالأدوات أقل أناقة لكنها لك.

حدّد المعدل حسب ASN والبادئة لا حسب user agent، فالزواحف تدوّر user agent لكنها لا تغادر مساحتها العنوانية بالسهولة نفسها. وتنشر Google وBing وOpenAI نطاقات عناوين مقروءة آليًا لزواحفها، ويخبرك عكس DNS المؤكَّد بالاتجاه المباشر ما إذا كان ما يسمي نفسه Googlebot قد جاء فعلًا من Google. والزواحف التي تكلّفك مالًا على الأرجح هي التي لا تفعل أيًّا من الأمرين.

قدّم استجابات رخيصة للزوار المكلفين. فالتخزين المؤقت القوي يجعل الزحف يكلّفك نطاقًا لا وقت معالج وقاعدة بيانات.

اقضِ على مساحات العناوين اللانهائية. فالبحث بالأوجه والتقاويم وتباديل المرشّحات تحوّل مئة صفحة محتوى إلى مليون عنوان قابل للجلب.

انشر ما تريد إتاحته للزحف وأغلق الباقي. فملخص عام سخي مع نسخة كاملة خلف المصادقة أداة خشنة، لكنها تعمل في كل مكان ولا تحتاج تعاون أحد.

وقِس أولًا، فلا يمكنك اتخاذ قرار سياسة بشأن كلفة لم تحسبها.

نبيع الآلة ونبتعد عن الطريق

موقفنا غير لامع: لسنا في المسار، ولا نريد أن نكون.

فكل خادم VPS وVDS من AVS ISP هو محاكاة KVM كاملة بصلاحية root حقيقية، ولذلك كل ضابط في تلك القائمة تنفّذه أنت: nginx الخاص بك، وحدودك، وتخزينك المؤقت، وfail2ban الخاص بك، وقواعدك، مقروءة وقابلة للتعديل منك. فلا جدار حماية تطبيقات من مزوّد يتعذّر عليك فحص منطقه، ولا لوحة تحكم تقرر أي حركة يُسمح لك برفضها.

والحماية من هجمات الحرمان من الخدمة مشمولة في كل باقة وتغطي الطرف العدائي من الأتمتة. أما الطرف المهذب المكلف فمسألة سعة وإعدادات، ولهذا صارت ملكية صلاحية root أهم مما كانت.

تبدأ الباقات من €5 شهريًا لخادم VPS، و€40 شهريًا لخادم VDS بأربع وحدات معالجة افتراضية وصولًا إلى €160 شهريًا بستّ عشرة، و€150 شهريًا للخادم المخصص. وتعمل خوادم VPS وVDS في تيرانا وسكوبيه وأمستردام ودبلن، والمخصصة في تيرانا وسكوبيه وأمستردام. نقبل العملات المشفّرة، دون تحقق من الهوية.

ما الذي يشتريه الويب

‏Pay Per Crawl جواب ذكي عن مشكلة حقيقية، ونتوقع أن ينجح. لكننا نرى أن الصفقة تستحق تسميةً واضحة: الويب يشتري سوق محتوى يعمل مقابل قبول وساطة أكبر، في لحظة أمضى فيها القطاع أسبوعين عاجزًا عن تحديد أي وسيط هو الذي تعطّل.

فإن استخدمته، فاستخدمه عن وعي. واحتفظ بمسار إلى خادمك الأصلي لا يعتمد عليه.

المصادر

1. Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules، Cloudflare، 1 يوليو 2026
2. Introducing pay per crawl: enabling content owners to charge AI crawlers for access، Cloudflare، 1 يوليو 2025
3. Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share، Tech Times، 5 يونيو 2026