Generador de Robots.txt
Crea un archivo robots.txt válido en segundos, directamente en tu navegador. Define reglas por rastreador, añade tu sitemap y bloquea bots de IA si lo necesitas.
Configuración
Robots.txt generado
Cómo funciona
El archivo robots.txt debe estar en la raíz de tu web (https://tudominio.com/robots.txt). Los rastreadores lo leen antes de recorrer tu sitio y siguen sus instrucciones de Allow y Disallow.
Añade tantas reglas como necesites, incluye la URL de tu sitemap y, si lo deseas, bloquea rastreadores de IA. El código de la derecha se actualiza al instante y puedes copiarlo o descargarlo directamente.
Preguntas Frecuentes
Es un archivo de texto en la raíz de tu web que indica a los rastreadores qué partes del sitio pueden o no visitar. Ayuda a ahorrar crawl budget, proteger secciones internas y señalar la ubicación del sitemap.
Debe colocarse en la raíz del dominio, es decir en https://tudominio.com/robots.txt. Si está en otra ubicación, los buscadores no lo encontrarán.
Las reglas Disallow para rastreadores de IA (GPTBot, CCBot, ClaudeBot, Google-Extended, Bytespider) pueden impedir que bots respetuosos descarguen tu contenido para entrenar modelos. Es una regla voluntaria, no un bloqueo técnico real.
Sí, tras subirlo revisa su validez en Google Search Console, en la sección de configuración de rastreo, o con otras herramientas online de test de robots.txt.
Otras Herramientas
¿Necesitas una auditoría técnica completa?
El robots.txt es solo el principio. Revisamos velocidad, indexación, estructura y mucho más.
Pedir Auditoría Gratis