SchemaCraft.AI
EN

أداة مجانية · تعمل في المتصفح

مولد robots.txt لزواحف الذكاء الاصطناعي

اختر سياسة، أضف المسارات الخاصة، وانسخ ملف robots.txt يبقيك في بحث ChatGPT وPerplexity وAI Overviews ويخرجك من تدريب النماذج. كل زاحف مربوط بتوثيق شركته.

آخر تحديث

الزواحف

  • Googlebotالبحث والاقتباسالتوثيق ↗

    Google — زاحف بحث جوجل

  • Google-Extendedتدريب النماذجالتوثيق ↗

    Google — التحكم في تدريب وتأريض Gemini وذكاء جوجل

  • Google-CloudVertexBotجلب بطلب المستخدمالتوثيق ↗

    Google — جلب الصفحات بطلب مستخدم عبر Vertex AI

  • Bingbotالبحث والاقتباسالتوثيق ↗

    Microsoft — زاحف بحث Bing

  • OAI-SearchBotالبحث والاقتباسالتوثيق ↗

    OpenAI — فهرسة واقتباسات بحث ChatGPT

  • ChatGPT-Userجلب بطلب المستخدمالتوثيق ↗

    OpenAI — جلب الصفحات بطلب مستخدم من ChatGPT

  • GPTBotتدريب النماذجالتوثيق ↗

    OpenAI — زاحف تدريب نماذج OpenAI (ليس للبحث)

  • PerplexityBotالبحث والاقتباسالتوثيق ↗

    Perplexity — فهرسة بحث Perplexity والإجابات الموثقة

  • Perplexity-Userجلب بطلب المستخدمالتوثيق ↗

    Perplexity — جلب الصفحات بطلب مستخدم من Perplexity

  • ClaudeBotتدريب النماذجالتوثيق ↗

    Anthropic — زاحف Anthropic لتدريب النماذج

  • Claude-Userجلب بطلب المستخدمالتوثيق ↗

    Anthropic — جلب الصفحات بطلب مستخدم من Claude

  • Claude-SearchBotالبحث والاقتباسالتوثيق ↗

    Anthropic — فهرسة بحث Claude

  • Applebotالبحث والاقتباسالتوثيق ↗

    Apple — زاحف بحث آبل وSpotlight

  • Applebot-Extendedتدريب النماذجالتوثيق ↗

    Apple — التحكم في تدريب وتأريض Apple Intelligence

  • Amazonbotالبحث والاقتباسالتوثيق ↗

    Amazon — زاحف أمازون للمنتجات والمواقع

  • CCBotتدريب النماذجالتوثيق ↗

    Common Crawl — زاحف Common Crawl المفتوح (يُستخدم غالبًا في بيانات التدريب)

  • meta-externalagentتدريب النماذجالتوثيق ↗

    Meta — زاحف تدريب ذكاء Meta

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/

# AI training crawlers (does not affect AI search or Google Search)
User-agent: Google-Extended
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /

ارفعه في جذر نطاقك ليظهر على https://yoursite.com/robots.txt. ملف robots.txt طلب وليس تحكماً في الوصول — الجدار الناري والـ CDN قد يحجبان زواحف سمحت بها هنا.

كيف يعمل الملف الناتج

المخرجات مجموعتان. User-agent: * تحمل قواعد الجميع، بما فيها مساراتك الخاصة. الزواحف التي تمنعها تشترك في مجموعة ثانية تنتهي بـ Disallow: /. عدة أسطر User-agent في مجموعة واحدة صحيحة حسب RFC 9309.

الزواحف المسموحة لا تُذكر عمداً. لو ذُكرت لاحتاج كل منها نسخة من قواعد المسارات الخاصة، لأن الزاحف الذي يجد مجموعة باسمه يتجاهل مجموعة *. تركها خارج الملف أقصر وأأمن.

أي وضع تختار؟

  • بحث ذكي نعم، تدريب لا — للشركات والناشرين والمتاجر التي تريد الاقتباس والنقر من إجابات الذكاء ولا تريد تقديم بيانات تدريب. هذا أغلب المواقع.
  • اسمح للكل — للتوثيق والمشاريع المفتوحة ولمن يريد أقصى وصول، بما فيه الدخول في معرفة النماذج اللاحقة.
  • امنع كل الذكاء الاصطناعي — يبقي بحث جوجل وبينج وآبل ويزيلك من إجابات ChatGPT وClaude وPerplexity. AI Overviews ما زالت تتبع Googlebot.

أخطاء يتجنبها المولد

  • منع Google-Extended للخروج من AI Overviews. لا يفعل ذلك. AI Overviews تتبع قواعد Googlebot.
  • سطر Disallow: فارغ. معناه اسمح للكل، لا امنع الكل.
  • منع CSS والجافاسكربت. جوجل يحتاجهما لرسم الصفحة. لا تمنع مجلدات الملفات.
  • حالة أحرف المسار. المسارات حساسة لحالة الأحرف: /Admin/ لا يمنع /admin/.
  • استخدام robots.txt للأسرار. الملف علني. احمِ المناطق الخاصة بتسجيل الدخول.

اختبره بعد الرفع

شغّل فاحص الزواحف على أي صفحة. يعرض لكل زاحف أي قاعدة طابقت، وهل رد الـ CDN أو الجدار بشكل مختلف. في Search Console، تقرير robots.txt يعرض النسخة التي جلبها جوجل آخر مرة.

الأسئلة الشائعة

كيف أمنع تدريب الذكاء الاصطناعي وأبقى في نتائج البحث الذكي؟

امنع وكلاء التدريب (GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وmeta-externalagent) واترك وكلاء البحث (OAI-SearchBot وClaude-SearchBot وPerplexityBot وGooglebot وBingbot) مسموحين. وضع «بحث نعم، تدريب لا» يفعل ذلك.

هل يجب أن أذكر كل زاحف أريد السماح له؟

لا. الزاحف الذي ليست له مجموعة يتبع User-agent: *. تسميته مفيدة فقط إذا احتاج قواعد مختلفة، وعندها يجب تكرار منع المسارات الخاصة داخل مجموعته، لأنه يتجاهل مجموعة * بالكامل.

هل يستطيع robots.txt إزالة صفحة من جوجل؟

لا. الرابط الممنوع قد يُفهرس من غير محتواه إذا أشارت إليه صفحات أخرى. لإخراج صفحة من النتائج اسمح بالزحف وأضف noindex في meta أو ترويسة X-Robots-Tag. جوجل لا يدعم noindex داخل robots.txt.

هل منع GPTBot يوقف ظهوري في ChatGPT؟

يوقف استخدام OpenAI لصفحاتك في تدريب لاحق. إجابات بحث ChatGPT تأتي من OAI-SearchBot، فمنع GPTBot وحده لا يزيلك من بحث ChatGPT.

أين أرفع robots.txt؟

في جذر كل مضيف: https://yoursite.com/robots.txt. الملف على www لا ينطبق على shop. في ووردبريس أغلب إضافات السيو فيها محرر. في شوبيفاي عدّل قالب robots.txt.liquid. في Wix وSquarespace من إعدادات السيو.

أدوات مجانية ذات صلة

فاحص زواحف الذكاء الاصطناعيأي البوتات يسمح بها robots.txt والجدار الناري فعلاً.هل تمنع GPTBot؟امنع التدريب من غير ما تختفي من بحث ChatGPT.قائمة زواحف الذكاء الاصطناعيكل وكيل، وظيفته، ورابط التوثيق الرسمي.مولد llms.txtابنِ ملف llms.txt من صفحاتك الأساسية.