فحص الظهور المجاني

المسار 2 / 13

افتح الباب

ملف robots.txt، وروبوتات الذكاء الاصطناعي، وشبكات توصيل المحتوى، وإعدادات Google.

الدرس 2.1

robots.txt في 10 دقائق

موثّق
  • robots.txt ملف نصي عام على العنوان نطاقك/robots.txt. يخبر الروبوتات بما يُسمح لها بقراءته. إنه معيار طوعي (RFC 9309) وليس قفلًا.
  • تبدأ كل كتلة بـ «User-agent:» (اسم الروبوت) ثم قواعد «Disallow:» أو «Allow:». والروبوت غير المذكور يتبع كتلة «User-agent: *».
  • أضف سطر «Sitemap:» لتجد الروبوتات كل صفحاتك.
طبّقه على موقعكافتح نطاقك/robots.txt. تحقق من أن Googlebot وBingbot وOAI-SearchBot وClaude-SearchBot وPerplexityBot غير محجوبة، ومن وجود سطر Sitemap.

روبوت غير مذكور في أي مكان من robots.txt. أي قواعد تنطبق عليه؟

أظهر الإجابة

الإجابة: كتلة «User-agent: *». الروبوتات غير المذكورة تتبع القواعد العامة (*).

المصادر

افحص ذلك على موقعك بنقرة واحدة مع صدى، إضافتنا المجانية لمتصفح Chrome.

الدرس 2.2

حديقة روبوتات الذكاء الاصطناعي

موثّق
  • روبوتات التدريب تجمع النصوص لنماذج المستقبل: GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot.
  • روبوتات البحث تفهرس الصفحات لإجابات الذكاء الاصطناعي: OAI-SearchBot وClaude-SearchBot وPerplexityBot. وتقول Anthropic إن حجب Claude-SearchBot قد يقلّل ظهورك في نتائج بحث Claude.
  • روبوتات المستخدم تجلب صفحة حين يطلب شخص ذلك: ChatGPT-User وClaude-User وPerplexity-User. تقول OpenAI إن robots.txt قد لا ينطبق على ChatGPT-User، وPerplexity-User يتجاهله عادة، بينما تقول Anthropic إن Claude-User يحترمه.
طبّقه على موقعكالعب لعبة الروبوتات في هذه الأكاديمية حتى تحصل على 8 من 8.

أيّها روبوت تدريب لا روبوت بحث؟

أظهر الإجابة

الإجابة: GPTBot. تقول OpenAI إن GPTBot يجمع محتوى قد يُستخدم لتدريب نماذجها.

افحص ذلك على موقعك بنقرة واحدة مع صدى، إضافتنا المجانية لمتصفح Chrome.

الدرس 2.3

احجب التدريب واحتفظ بالبحث

موثّق
  • يمكنك رفض التدريب مع البقاء قابلًا للعثور عليك: اذكر روبوتات التدريب مع «Disallow: /» وروبوتات البحث مع «Allow: /».
  • حجب Google-Extended لا يخرجك من ملخصات الذكاء الاصطناعي: فهي تعتمد على Googlebot وقواعد المقتطفات.
  • قرار حجب التدريب قرارك. لا توجد قياسات ترجّح أي اتجاه للجهات الصغيرة: سجّله قرارًا واعيًا.
طبّقه على موقعكانسخ القالب من حزمة الإصلاح في تبويب الوكيل، وعدّل عنوان خريطة الموقع، واطلب نشره.

حجبتَ Google-Extended. ماذا يحدث لملخصات الذكاء الاصطناعي؟

أظهر الإجابة

الإجابة: لا شيء: تعتمد على Googlebot. تقول Google إن Google-Extended يخص تدريب Gemini والتأسيس في أنظمة أخرى، لا ميزات البحث الذكية.

افحص ذلك على موقعك بنقرة واحدة مع صدى، إضافتنا المجانية لمتصفح Chrome.

الدرس 2.4

قد تحجب شبكة التوصيل الذكاء الاصطناعي

موثّق
  • لا ينفع ملف robots.txt مثالي إذا حجبت الاستضافة أو شبكة توصيل المحتوى الروبوت قبله. وتعدّ Google فحص «شبكة التوصيل أو بنية الاستضافة» من أفضل الممارسات.
  • منذ 1 يوليو 2025 تحجب Cloudflare روبوتات الذكاء الاصطناعي افتراضيًا في النطاقات الجديدة وتقدّم «الدفع مقابل الزحف».
  • منذ 15 سبتمبر 2026 توقف إعدادات Cloudflare «Block» و«Block on pages with ads» الروبوتات مزدوجة الاستخدام أيضًا، ومنها Googlebot وBingbot وApplebot، فتُخرجك من البحث كذلك. لرفض التدريب مع البقاء في البحث استخدم الإعداد الجديد «Disallow AI Training».
طبّقه على موقعكاسأل مزوّد الاستضافة أو راجع لوحة Cloudflare: أي روبوتات ذكاء اصطناعي محجوبة؟ اسمح لروبوتات البحث التي تريدها.

robots.txt يسمح بكل شيء. هل يمكن أن تبقى روبوتات البحث الذكية محجوبة؟

أظهر الإجابة

الإجابة: نعم، عبر شبكة التوصيل أو جدار الحماية. قد تحجب طبقات الحماية الروبوتات قبل أن تقرأ robots.txt.

المصادر

افحص ذلك على موقعك بنقرة واحدة مع صدى، إضافتنا المجانية لمتصفح Chrome.

الدرس 2.5

المقتطفات والانسحاب من ميزات Google الذكية

موثّق
  • لتقييد ما تعرضه Google من صفحة: nosnippet أو data-nosnippet (لجزء من الصفحة) أو max-snippet أو noindex.
  • منذ 31 أغسطس 2026 يملك كل موقع في Search Console إعدادًا اسمه «Search generative AI»: يمكنك استبعاد موقعك من ملخصات الذكاء الاصطناعي ووضع الذكاء الاصطناعي وميزات الذكاء الاصطناعي في Discover.
  • ولا يشمل تطبيق Gemini ولا تدريب الذكاء الاصطناعي: فذلك ما زال عبر Google-Extended. والمواقع المستبعدة لا تتلقى زيارات ولا ظهورًا من هذه الميزات، وتقول Google إنه ليس إشارة ترتيب في غيرها.
طبّقه على موقعكإن كانت هناك فقرة لا يجب اقتباسها أبدًا (مثل أسعار قديمة)، فأحطها بـ data-nosnippet بدل إخفاء الصفحة كلها.

ما ثمن الانسحاب من ميزات Google الذكية (2026)؟

أظهر الإجابة

الإجابة: كل الزيارات ومرات الظهور من هذه الميزات. تقول Google إن المواقع المنسحبة لا تتلقى زيارات ولا ظهورًا من ميزاتها التوليدية.

افحص ذلك على موقعك بنقرة واحدة مع صدى، إضافتنا المجانية لمتصفح Chrome.

مستعد للاختبار؟

30 سؤالًا من كل المسارات؛ 24 إجابة صحيحة تمنحك الشهادة.