Générateur de robots.txt
Choisissez la façon dont les robots doivent traiter le site, listez les chemins à écarter des moteurs et copiez le fichier à la racine de votre site.
robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=
Sitemap: https://example.com/sitemap.xml
À propos de cet outil
robots.txt se place à la racine du domaine et indique aux robots quels chemins ignorer. C'est une consigne d'exploration, pas un contrôle d'accès : une URL bloquée peut être indexée si d'autres sites y renvoient, alors utilisez noindex ou une authentification pour ce qui doit vraiment rester hors des résultats.
Les règles sont groupées par user-agent et chaque robot suit le groupe le plus spécifique qui le concerne. L'option IA ajoute des blocages explicites pour GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot et les autres robots d'entraînement qui respectent le fichier.
Questions fréquentes
- Où placer le fichier ?
- À la racine du domaine, accessible via https://exemple.fr/robots.txt. Dans un sous-dossier, il n'a aucun effet.
- Google respecte-t-il crawl-delay ?
- Non. Googlebot l'ignore ; Bing et Yandex le respectent. Pour Google, réglez la vitesse dans la Search Console.
- Bloquer une page la retire-t-elle de Google ?
- Pas de façon fiable. Une URL bloquée peut encore apparaître sans extrait. Pour une vraie suppression, mettez noindex sur une page explorable.