robots.txt est un fichier texte public à l'adresse votredomaine/robots.txt. Il indique aux robots ce qu'ils peuvent lire. C'est une norme volontaire (RFC 9309), pas un verrou.
Chaque bloc commence par « User-agent: » (le nom du robot), suivi de règles « Disallow: » ou « Allow: ». Un robot non nommé suit le bloc « User-agent: * ».
Ajoutez une ligne « Sitemap: » pour que les robots trouvent toutes vos pages.
À faire sur votre siteOuvrez votredomaine/robots.txt. Vérifiez que Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot et PerplexityBot ne sont pas bloqués et qu'une ligne Sitemap existe.
Un robot n'est nommé nulle part dans le robots.txt. Quelles règles s'appliquent ?
Voir la réponse
Réponse: Le bloc « User-agent: * ». Les robots non nommés suivent les règles valables pour tous (*).
Les robots d'entraînement collectent du texte pour de futurs modèles : GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Les robots de recherche indexent les pages pour les réponses IA : OAI-SearchBot, Claude-SearchBot, PerplexityBot. Selon Anthropic, bloquer Claude-SearchBot peut réduire votre visibilité dans la recherche de Claude.
Les robots « utilisateur » récupèrent une page quand une personne le demande : ChatGPT-User, Claude-User, Perplexity-User. Selon OpenAI, robots.txt peut ne pas s'appliquer à ChatGPT-User ; Perplexity-User l'ignore en général ; Claude-User le respecte selon Anthropic.
À faire sur votre siteJouez au jeu des robots de cette Académie jusqu'à obtenir 8/8.
Lequel est un robot d'entraînement, pas de recherche ?
Voir la réponse
Réponse: GPTBot. OpenAI : GPTBot collecte du contenu pouvant servir à entraîner ses modèles.
Vous pouvez refuser l'entraînement tout en restant trouvable : nommez les robots d'entraînement avec « Disallow: / » et les robots de recherche avec « Allow: / ».
Bloquer Google-Extended ne vous retire pas des Aperçus IA : ceux-ci dépendent de Googlebot et des règles d'extraits.
Bloquer ou non l'entraînement est votre choix. Aucune mesure ne tranche pour les petites structures : notez-le comme une décision consciente.
À faire sur votre siteReprenez le modèle du pack de corrections de l'Agent, adaptez l'adresse du sitemap et faites-le publier.
Vous bloquez Google-Extended. Que deviennent vos Aperçus IA ?
Voir la réponse
Réponse: Rien ne change : ils dépendent de Googlebot. Google : Google-Extended concerne l'entraînement de Gemini et l'ancrage dans d'autres systèmes, pas les fonctions IA de la recherche.
Un robots.txt parfait ne sert à rien si l'hébergeur ou le CDN bloque le robot avant. Google cite la vérification du « CDN ou de l'infrastructure d'hébergement » parmi les bonnes pratiques.
Depuis le 1er juillet 2025, Cloudflare bloque par défaut les robots IA sur les nouveaux domaines et propose « Pay Per Crawl ».
Depuis le 15 septembre 2026, les réglages « Block » et « Block on pages with ads » de Cloudflare arrêtent aussi les robots à usage mixte, dont Googlebot, Bingbot et Applebot : ils vous retirent donc aussi de la recherche. Pour refuser l'entraînement en restant dans la recherche : le nouveau réglage « Disallow AI Training ».
À faire sur votre siteDemandez à votre hébergeur ou regardez votre tableau de bord Cloudflare : quels robots IA sont bloqués ? Autorisez les robots de recherche voulus.
Le robots.txt autorise tout. Les robots de recherche IA peuvent-ils quand même être bloqués ?
Voir la réponse
Réponse: Oui, par le CDN ou le pare-feu. Des couches de sécurité peuvent bloquer les robots avant qu'ils ne lisent robots.txt.
Pour limiter ce que Google montre d'une page : nosnippet, data-nosnippet (pour une partie de page), max-snippet ou noindex.
Depuis le 31 août 2026, chaque site dispose dans la Search Console du réglage « Search generative AI » : vous pouvez exclure votre site des Aperçus IA, du mode IA et des fonctions IA de Discover.
Il ne couvre ni l'application Gemini ni l'entraînement de l'IA : cela reste le rôle de Google-Extended. Les sites exclus ne reçoivent ni trafic ni impressions de ces fonctions ; selon Google, ce n'est pas un signal de classement ailleurs.
À faire sur votre siteSi un paragraphe ne doit jamais être cité (par exemple d'anciens tarifs), entourez-le de data-nosnippet au lieu de masquer toute la page.
Que vous coûte le retrait des fonctions IA de Google (2026) ?
Voir la réponse
Réponse: Tout le trafic et les impressions de ces fonctions. Google : les sites retirés ne reçoivent ni trafic ni impressions de ses fonctions d'IA générative.