فاحص زواحف الذكاء الاصطناعي

ماذا يختبر الفاحص

• robots.txt لكل زاحف. تُقيَّم القواعد كما يطبّقها الزاحف حسب RFC 9309: المجموعة الأخص تطابقًا تفوز، وأطول مسار مطابق يفوز، وAllow يفوز عند التعادل. الزاحف الذي له مجموعته يتجاهل User-agent: * بالكامل.
• حجب الصفحة. noindex في meta robots أو ترويسة X-Robots-Tag، والردود غير 200.
• الاعتماد على الجافاسكربت. زواحف OpenAI وAnthropic تنزّل HTML ولا تنفّذ الجافاسكربت، فالصفحة التي ترسم نصها في المتصفح شبه فارغة لهم. نعرض ما يقرأه زاحف لا يشغّل الجافاسكربت.
• طلبات حية. تُطلب الصفحة مرة أخرى بوكيل كل زاحف كبير لترى رد الـ CDN أو الجدار، وتُعرض كإشارة للسبب المذكور في الأسئلة.
• llms.txt وخريطة الموقع. هل موجودان، وهل يُخدمان كنص، وهل الإشارة إليهما صحيحة.

زواحف البحث وزواحف التدريب بوتات مختلفة

كل شركة كبرى تشغّل الآن وكلاء منفصلين للبحث ولتدريب النموذج. منع التدريب قرار عمل. منع زواحف البحث يزيلك من إجابات ذلك المنتج. الفحص لا يخصم نقاطاً بسبب منع زواحف التدريب.

القائمة الكاملة مع روابط التوثيق في قائمة الزواحف.

أكثر أسباب الحجب

1. مجموعة خاصة تنسى القواعد العامة

إضافة User-agent: GPTBot مع Allow: / تعني أن GPTBot لم يعد يقرأ مجموعة *، فيتوقف تطبيق منع المسارات الخاصة عليه. كرّر المنع داخل كل مجموعة مسماة، أو لا تسمِّ زاحفاً تريد السماح له فقط.

2. قاعدة CDN أو جدار ناري

حجب زواحف الذكاء الاصطناعي في Cloudflare، وأوضاع محاربة البوت، وحدود الاستضافة، كثيراً ما ترجع 403 أو 429 لزواحف الذكاء بينما يمر Googlebot. إذا كان الملف يسمح والزاحف يظهر بخطأ في السجلات، الإصلاح في إعدادات الـ CDN لا في الملف.

3. محتوى يوجد فقط بعد الجافاسكربت

تطبيقات الصفحة الواحدة التي ترسل <div id="root"> فارغاً يقرأها Googlebot لأنه يرسم، ولا يقرأها معظم زواحف الذكاء الاصطناعي. الرسم على السيرفر أو التوليد الثابت يصلح هذا.

اسمح للبحث الذكي وامنع التدريب

هذا الإعداد الذي يختاره معظم الناشرين. الصقه في robots.txt وأبقِ قواعدك الحالية فوقه:

User-agent: *
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

أو ابنِ ملفك في مولد robots.txt.