روبوتات التدريب تجمع النصوص لنماذج المستقبل: GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot.
روبوتات البحث تفهرس الصفحات لإجابات الذكاء الاصطناعي: OAI-SearchBot وClaude-SearchBot وPerplexityBot. وتقول Anthropic إن حجب Claude-SearchBot قد يقلّل ظهورك في نتائج بحث Claude.
روبوتات المستخدم تجلب صفحة حين يطلب شخص ذلك: ChatGPT-User وClaude-User وPerplexity-User. تقول OpenAI إن robots.txt قد لا ينطبق على ChatGPT-User، وPerplexity-User يتجاهله عادة، بينما تقول Anthropic إن Claude-User يحترمه.
طبّقه على موقعكالعب لعبة الروبوتات في هذه الأكاديمية حتى تحصل على 8 من 8.
أيّها روبوت تدريب لا روبوت بحث؟
أظهر الإجابة
الإجابة: GPTBot. تقول OpenAI إن GPTBot يجمع محتوى قد يُستخدم لتدريب نماذجها.
لا ينفع ملف robots.txt مثالي إذا حجبت الاستضافة أو شبكة توصيل المحتوى الروبوت قبله. وتعدّ Google فحص «شبكة التوصيل أو بنية الاستضافة» من أفضل الممارسات.
منذ 1 يوليو 2025 تحجب Cloudflare روبوتات الذكاء الاصطناعي افتراضيًا في النطاقات الجديدة وتقدّم «الدفع مقابل الزحف».
منذ 15 سبتمبر 2026 توقف إعدادات Cloudflare «Block» و«Block on pages with ads» الروبوتات مزدوجة الاستخدام أيضًا، ومنها Googlebot وBingbot وApplebot، فتُخرجك من البحث كذلك. لرفض التدريب مع البقاء في البحث استخدم الإعداد الجديد «Disallow AI Training».
طبّقه على موقعكاسأل مزوّد الاستضافة أو راجع لوحة Cloudflare: أي روبوتات ذكاء اصطناعي محجوبة؟ اسمح لروبوتات البحث التي تريدها.
robots.txt يسمح بكل شيء. هل يمكن أن تبقى روبوتات البحث الذكية محجوبة؟
أظهر الإجابة
الإجابة: نعم، عبر شبكة التوصيل أو جدار الحماية. قد تحجب طبقات الحماية الروبوتات قبل أن تقرأ robots.txt.
لتقييد ما تعرضه Google من صفحة: nosnippet أو data-nosnippet (لجزء من الصفحة) أو max-snippet أو noindex.
منذ 31 أغسطس 2026 يملك كل موقع في Search Console إعدادًا اسمه «Search generative AI»: يمكنك استبعاد موقعك من ملخصات الذكاء الاصطناعي ووضع الذكاء الاصطناعي وميزات الذكاء الاصطناعي في Discover.
ولا يشمل تطبيق Gemini ولا تدريب الذكاء الاصطناعي: فذلك ما زال عبر Google-Extended. والمواقع المستبعدة لا تتلقى زيارات ولا ظهورًا من هذه الميزات، وتقول Google إنه ليس إشارة ترتيب في غيرها.
طبّقه على موقعكإن كانت هناك فقرة لا يجب اقتباسها أبدًا (مثل أسعار قديمة)، فأحطها بـ data-nosnippet بدل إخفاء الصفحة كلها.
ما ثمن الانسحاب من ميزات Google الذكية (2026)؟
أظهر الإجابة
الإجابة: كل الزيارات ومرات الظهور من هذه الميزات. تقول Google إن المواقع المنسحبة لا تتلقى زيارات ولا ظهورًا من ميزاتها التوليدية.