Generador de robots.txt
Genera un archivo robots.txt de forma visual. Configura las reglas de rastreo para los principales motores de búsqueda y bots de IA.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
¿Qué es el Generador de robots.txt?
robots.txt indica a los rastreadores web a qué páginas pueden y no pueden acceder. Es un protocolo voluntario: los rastreadores que se comportan bien lo respetan; los bots maliciosos lo ignoran. Este generador crea archivos robots.txt conformes con el estándar. Para reglas complejas, consulta robotstxt.org y la especificación completa.
Preguntas frecuentes
¿Dónde debo subir robots.txt?▼
En la raíz de tu sitio: example.com/robots.txt. Debe estar en la raíz; en los subdirectorios no funciona.
¿Debo bloquear los bots de IA?▼
Depende de ti. Permitirlos significa que ChatGPT/Perplexity pueden referenciar tu contenido. Bloquearlos evita el rastreo de datos de entrenamiento, pero reduce la visibilidad.
Herramientas relacionadas
Password Generator
Generate secure random passwords.
WordPress Username Generator
Generate secure WordPress usernames.
Domain Name Generator
Generate available-looking domain name ideas.
Business Name Generator
Generate brandable business name ideas.
URL Slug Generator
Convert text to URL-friendly slugs.
Lorem Ipsum Generator
Generate placeholder text in paragraphs, words, or bytes.