Inspector de robots.txt

Analiza archivos robots.txt. Muestra las reglas agrupadas por user-agent y señala los problemas.

Cómo usar esta herramienta

1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
2
Click Analyze. The server fetches that site's live robots.txt and returns it.
3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
4
Adjust the URL and analyze again to compare another host or a different environment.

¿Qué es el Inspector de robots.txt?

robots.txt es un protocolo voluntario para indicar a los rastreadores web a qué pueden acceder. Los principales motores de búsqueda lo respetan; los bots maliciosos lo ignoran. Los errores comunes incluyen bloquear recursos críticos, usar comodines de forma incorrecta y olvidar incluir una directiva Sitemap. Este inspector analiza cualquier robots.txt y agrupa las reglas por user-agent.

Casos de uso comunes

Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.

Preguntas frecuentes

¿Dónde se ubica robots.txt?▼

Siempre en la raíz del dominio: ejemplo.com/robots.txt. En los subdirectorios no funciona.

¿Cuál es la diferencia entre Disallow y noindex?▼

Disallow impide el rastreo; noindex (en una metaetiqueta) impide la indexación. No son intercambiables.

Herramientas relacionadas

Analizador de Metaetiquetas

Extrae y analiza todas las metaetiquetas de cualquier URL: título, descripción, Open Graph, Twitter Card, viewport, robots y etiquetas link.

Analizador de Jerarquía de Encabezados

Audita la estructura H1-H6 de cualquier página. Señala la falta de H1, los H1 múltiples y los niveles de encabezado omitidos.

Validador de Marcado Schema

Extrae y valida datos estructurados JSON-LD de cualquier URL. Ve qué tipos de schema están presentes y si se analizan correctamente.

Inspector de Open Graph

Previsualiza cómo aparecerá una URL al compartirse en Facebook, Twitter/X, LinkedIn y otras plataformas.

Inspector de Sitemaps

Analiza cualquier sitemap XML: número de URL, cobertura de lastmod y estructura del índice de sitemaps.

Recuento de Palabras de Página

Cuenta las palabras visibles de cualquier página web. Excluye scripts, estilos y contenido oculto.