الفحوص الثلاثة، بالترتيب
1. robots.txt يسمح لزاحف البحث
بحث ChatGPT يستخدم OAI-SearchBot. Perplexity يستخدم PerplexityBot. بحث Claude يستخدم Claude-SearchBot. مراجعات جوجل بالذكاء الاصطناعي تستخدم Googlebot. كل واحد يقرأ مجموعته فقط في robots.txt، أو مجموعة * إذا لم تكن له مجموعة (RFC 9309).
GPTBot ليس في هذه القائمة. هو يجمع النص للتدريب. منعه لا يحذف الصفحة من بحث ChatGPT، والسماح له لا يضعها هناك. الفصل موثّق عند OpenAI، والنمط نفسه موجود بين Google-Extended وGooglebot، وبين ClaudeBot وClaude-SearchBot. التفاصيل في هل تمنع GPTBot؟
2. الـ CDN يرجع الصفحة، لا صفحة تحدٍ
منتجات حماية البوتات غالباً تسمح لـ Googlebot (لأنها تتحقق من عناوينه) وتتحدى الباقي. عندها OAI-SearchBot وPerplexityBot يستلمان 403 أو صفحة وسيطة، فلا يوجد ما يُقتبس. robots.txt سيظل يقول «مسموح». الطريقة الوحيدة لرؤية ذلك هي طلب الرابط بهذا الوكيل.
اعتبر النتيجة إشارة. سلاسل الوكيل سهلة التزييف، والـ CDN قد يسمح لنطاقات IP الحقيقية للشركة ويحجب سيرفر فحص ينسخ الوكيل فقط. OpenAI وجوجل وبينج وPerplexity ينشرون طريقة التحقق من زواحفهم. استخدمها قبل أن تستنتج أن البوت الحقيقي محجوب.
3. الجواب موجود في HTML الذي يرسله السيرفر
OAI-SearchBot وPerplexityBot وClaudeBot يجلبون HTML ولا يشغّلون جافاسكربت الصفحة. شبكة منتجات أو سعر أو فقرة تظهر بعد hydration في React صفحة فارغة تقريباً بالنسبة لهم. Googlebot هو الاستثناء: هو يرسم الصفحة. لهذا قد يترتّب رابط في جوجل ولا يظهر أبداً في ChatGPT أو Perplexity.
شكل الفقرة التي تُقتبس
بعد أن يستطيع الزاحف قراءة الصفحة، ما زال يحتاج فقرة يرفعها. الفقرات التي يُعاد استخدامها لها شكل:
- الفقرة الأولى تعرّف الشيء في جملة أو اثنتين: ما هو، لمن، وما الحقيقة المحددة.
- العناوين هي أسئلة الناس، وأول جملة تحت كل عنوان تجيب.
- الخطوات قائمة مرقمة. المقارنات جدول. الاثنان يصمدان عند الاقتباس أكثر من فقرة صفات.
- الأرقام لها وحدة ومصدر. «أسرع» لا يُقتبس. «معظم الفحوص تنتهي خلال 20 ثانية» يُقتبس.
- اسم المنظمة موجود في النص وفي JSON-LD، مع روابط
sameAsلحسابات موجودة فعلاً.
لا توجد «سكيما خاصة بالذكاء الاصطناعي». ترميز FAQ وArticle وOrganization يساعد الآلة على ربط الأسماء بالأشياء. الترميز الذي يصف مراجعات أو أسعاراً أو مؤلفين لا تعرضهم الصفحة مخالفة للإرشادات، حتى لو سكت المدقق.
لماذا يختلف Perplexity وChatGPT
ليس لهما فهرس واحد. الموقع قد يكون في أحدهما وغائباً عن الآخر لسبب عادي: بوت مسموح والآخر ممنوع. افحص الصفين منفصلين. Perplexity-User وChatGPT-User حالة ثالثة: يجلبان رابطاً لأن شخصاً سأل، وPerplexity يوثّق أن Perplexity-User قد يتجاهل robots.txt. هما ليسا طريقة الدخول إلى الفهرس الدائم.
| ChatGPT Search | Perplexity | Google AI Overviews | |
|---|---|---|---|
| زاحف الفهرس | OAI-SearchBot | PerplexityBot | Googlebot |
| جلب عند الطلب | ChatGPT-User | Perplexity-User | Googlebot |
| التحكم في التدريب | GPTBot | لا يوجد منفصل | Google-Extended |
| يشغّل الجافاسكربت | لا | لا | نعم |
ماذا تفعل هذا الأسبوع
- اسمح لـ OAI-SearchBot وPerplexityBot وClaude-SearchBot وGooglebot وBingbot. امنع زواحف التدريب فقط إذا كانت هذه سياستك — انظر مولد robots.txt.
- اسمح لنفس الوكلاء في الـ CDN، أو أوقف التحدي عنهم.
- اعرض الصفحة والجافاسكربت متوقف. إذا اختفى الجواب، ارسمه على السيرفر.
- أعد كتابة الفقرة الافتتاحية كتعريف، وضع فيها رقماً له مصدر.
- أضف Organization JSON-LD بشعار حقيقي وروابط
sameAsحقيقية. - في التحليلات، افصل إحالات chatgpt.com وperplexity.ai لترى إن كان التغيير فعل شيئاً. الترتيب والاقتباس يعتمدان أيضاً على ذكر مواقع أخرى لك، وهذا لا يُختلق بتعديل داخل الصفحة.
مرّر الرابط على الفحص أو فاحص الزواحف. كل فحص فاشل يعرض الدليل (سطر robots.txt أو حالة HTTP أو الفقرة الناقصة) وإصلاحاً يمكن لصقه. معظم الفحوص تنتهي خلال 20 ثانية، بحد 20 فحصاً كل 10 دقائق. جوجل يتوقف عن قراءة robots.txt بعد 500 كيلوبايت، فقائمة السماح القصيرة بعيدة عن هذا الحد.