Generador de robots.txt
Elige cómo deben tratar el sitio los rastreadores, indica las rutas que no quieres en buscadores y copia el archivo a la raíz de tu web.
robots.txt
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=
Sitemap: https://example.com/sitemap.xml
Sobre esta herramienta
robots.txt vive en la raíz del dominio e indica a los rastreadores qué rutas saltarse. Es una instrucción de rastreo, no un control de acceso: una URL bloqueada puede indexarse igualmente si otros sitios la enlazan, así que usa noindex o autenticación para lo que deba quedar fuera de verdad.
Las reglas se agrupan por user-agent y cada rastreador sigue el grupo más específico que le corresponde. La opción de IA añade bloqueos explícitos para GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot y otros rastreadores de entrenamiento que respetan el archivo.
Preguntas frecuentes
- ¿Dónde coloco el archivo?
- En la raíz del dominio, accesible como https://ejemplo.com/robots.txt. En subcarpetas no funciona.
- ¿Google respeta crawl-delay?
- No. Googlebot lo ignora; Bing y Yandex sí lo respetan. Ajusta la frecuencia en Search Console.
- ¿Bloquear una página la quita de Google?
- No de forma fiable. Una URL bloqueada puede seguir apareciendo sin descripción. Para eliminarla, usa noindex en una página rastreable.