Inspector de robots.txt
Analiza archivos robots.txt. Muestra las reglas agrupadas por user-agent y señala los problemas.
¿Qué es el Inspector de robots.txt?
robots.txt es un protocolo voluntario para indicar a los rastreadores web a qué pueden acceder. Los principales motores de búsqueda lo respetan; los bots maliciosos lo ignoran. Los errores comunes incluyen bloquear recursos críticos, usar comodines de forma incorrecta y olvidar incluir una directiva Sitemap. Este inspector analiza cualquier robots.txt y agrupa las reglas por user-agent.
Preguntas frecuentes
¿Dónde se ubica robots.txt?▼
¿Cuál es la diferencia entre Disallow y noindex?▼
Herramientas relacionadas
Meta Tags Analyzer
Extract and analyze every meta tag from any URL.
Heading Hierarchy Analyzer
Audit H1-H6 structure for SEO and accessibility issues.
Schema Markup Validator
Extract and validate JSON-LD schema from any page.
Open Graph Inspector
Preview how a URL appears on Facebook, Twitter, and LinkedIn.
Sitemap Inspector
Analyze any XML sitemap — URL count, lastmod, structure.
Page Word Count
Count visible words on any URL.