Generador de robots.txt
Genera un archivo robots.txt de forma visual. Configura las reglas de rastreo para los principales motores de búsqueda y bots de IA.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Cómo usar esta herramienta
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
¿Qué es el Generador de robots.txt?
robots.txt indica a los rastreadores web a qué páginas pueden y no pueden acceder. Es un protocolo voluntario: los rastreadores que se comportan bien lo respetan; los bots maliciosos lo ignoran. Este generador crea archivos robots.txt conformes con el estándar. Para reglas complejas, consulta robotstxt.org y la especificación completa.
Casos de uso comunes
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Preguntas frecuentes
¿Dónde debo subir robots.txt?▼
¿Debo bloquear los bots de IA?▼
Herramientas relacionadas
Generador de Contraseñas
Genera contraseñas criptográficamente seguras en tu navegador. No se envía nada a ningún servidor: los bytes aleatorios provienen de la API crypto de tu navegador.
Generador de Nombres de Usuario de WordPress
Genera nombres de usuario de administrador de WordPress seguros y aleatorios. Nunca uses 'admin': es el objetivo número uno de la fuerza bruta.
Generador de Nombres de Dominio
Genera ideas de nombres de dominio con potencial de marca a partir de una palabra clave. Las combinaciones incluyen prefijos, sufijos y modificadores comunes.
Generador de Nombres de Empresa
Genera ideas de nombres de empresa con potencial de marca. Combina palabras reales con modificadores para producir nombres memorables.
Generador de Slugs de URL
Convierte texto en slugs aptos para URL: pasa a minúsculas, elimina caracteres especiales y separa las palabras con guiones.
Generador de Lorem Ipsum
Genera texto de relleno para maquetas y diseños. Elige párrafos, oraciones o palabras.