Diagnostic IA gratuit

Parcours 2 / 13

Ouvrir la porte

robots.txt, robots IA, CDN et réglages de Google.

Leçon 2.1

robots.txt en 10 minutes

Documenté
  • robots.txt est un fichier texte public à l'adresse votredomaine/robots.txt. Il indique aux robots ce qu'ils peuvent lire. C'est une norme volontaire (RFC 9309), pas un verrou.
  • Chaque bloc commence par « User-agent: » (le nom du robot), suivi de règles « Disallow: » ou « Allow: ». Un robot non nommé suit le bloc « User-agent: * ».
  • Ajoutez une ligne « Sitemap: » pour que les robots trouvent toutes vos pages.
À faire sur votre siteOuvrez votredomaine/robots.txt. Vérifiez que Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot et PerplexityBot ne sont pas bloqués et qu'une ligne Sitemap existe.

Un robot n'est nommé nulle part dans le robots.txt. Quelles règles s'appliquent ?

Voir la réponse

Réponse: Le bloc « User-agent: * ». Les robots non nommés suivent les règles valables pour tous (*).

Vérifiez-le sur votre site en un clic avec Sada, notre extension Chrome gratuite.

Leçon 2.2

Le zoo des robots IA

Documenté
  • Les robots d'entraînement collectent du texte pour de futurs modèles : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
  • Les robots de recherche indexent les pages pour les réponses IA : OAI-SearchBot, Claude-SearchBot, PerplexityBot. Selon Anthropic, bloquer Claude-SearchBot peut réduire votre visibilité dans la recherche de Claude.
  • Les robots « utilisateur » récupèrent une page quand une personne le demande : ChatGPT-User, Claude-User, Perplexity-User. Selon OpenAI, robots.txt peut ne pas s'appliquer à ChatGPT-User ; Perplexity-User l'ignore en général ; Claude-User le respecte selon Anthropic.
À faire sur votre siteJouez au jeu des robots de cette Académie jusqu'à obtenir 8/8.

Lequel est un robot d'entraînement, pas de recherche ?

Voir la réponse

Réponse: GPTBot. OpenAI : GPTBot collecte du contenu pouvant servir à entraîner ses modèles.

Vérifiez-le sur votre site en un clic avec Sada, notre extension Chrome gratuite.

Leçon 2.3

Bloquer l'entraînement, garder la recherche

Documenté
  • Vous pouvez refuser l'entraînement tout en restant trouvable : nommez les robots d'entraînement avec « Disallow: / » et les robots de recherche avec « Allow: / ».
  • Bloquer Google-Extended ne vous retire pas des Aperçus IA : ceux-ci dépendent de Googlebot et des règles d'extraits.
  • Bloquer ou non l'entraînement est votre choix. Aucune mesure ne tranche pour les petites structures : notez-le comme une décision consciente.
À faire sur votre siteReprenez le modèle du pack de corrections de l'Agent, adaptez l'adresse du sitemap et faites-le publier.

Vous bloquez Google-Extended. Que deviennent vos Aperçus IA ?

Voir la réponse

Réponse: Rien ne change : ils dépendent de Googlebot. Google : Google-Extended concerne l'entraînement de Gemini et l'ancrage dans d'autres systèmes, pas les fonctions IA de la recherche.

Vérifiez-le sur votre site en un clic avec Sada, notre extension Chrome gratuite.

Leçon 2.4

Votre CDN bloque peut-être l'IA

Documenté
  • Un robots.txt parfait ne sert à rien si l'hébergeur ou le CDN bloque le robot avant. Google cite la vérification du « CDN ou de l'infrastructure d'hébergement » parmi les bonnes pratiques.
  • Depuis le 1er juillet 2025, Cloudflare bloque par défaut les robots IA sur les nouveaux domaines et propose « Pay Per Crawl ».
  • Depuis le 15 septembre 2026, les réglages « Block » et « Block on pages with ads » de Cloudflare arrêtent aussi les robots à usage mixte, dont Googlebot, Bingbot et Applebot : ils vous retirent donc aussi de la recherche. Pour refuser l'entraînement en restant dans la recherche : le nouveau réglage « Disallow AI Training ».
À faire sur votre siteDemandez à votre hébergeur ou regardez votre tableau de bord Cloudflare : quels robots IA sont bloqués ? Autorisez les robots de recherche voulus.

Le robots.txt autorise tout. Les robots de recherche IA peuvent-ils quand même être bloqués ?

Voir la réponse

Réponse: Oui, par le CDN ou le pare-feu. Des couches de sécurité peuvent bloquer les robots avant qu'ils ne lisent robots.txt.

Vérifiez-le sur votre site en un clic avec Sada, notre extension Chrome gratuite.

Leçon 2.5

Extraits et retrait des fonctions IA de Google

Documenté
  • Pour limiter ce que Google montre d'une page : nosnippet, data-nosnippet (pour une partie de page), max-snippet ou noindex.
  • Depuis le 31 août 2026, chaque site dispose dans la Search Console du réglage « Search generative AI » : vous pouvez exclure votre site des Aperçus IA, du mode IA et des fonctions IA de Discover.
  • Il ne couvre ni l'application Gemini ni l'entraînement de l'IA : cela reste le rôle de Google-Extended. Les sites exclus ne reçoivent ni trafic ni impressions de ces fonctions ; selon Google, ce n'est pas un signal de classement ailleurs.
À faire sur votre siteSi un paragraphe ne doit jamais être cité (par exemple d'anciens tarifs), entourez-le de data-nosnippet au lieu de masquer toute la page.

Que vous coûte le retrait des fonctions IA de Google (2026) ?

Voir la réponse

Réponse: Tout le trafic et les impressions de ces fonctions. Google : les sites retirés ne reçoivent ni trafic ni impressions de ses fonctions d'IA générative.

Vérifiez-le sur votre site en un clic avec Sada, notre extension Chrome gratuite.

Prêt pour l'examen ?

30 questions sur tous les parcours ; 24 bonnes réponses vous donnent le certificat.