Inspecteur de robots.txt
Analysez les fichiers robots.txt. Affiche les règles regroupées par user-agent et signale les problèmes.
Comment utiliser cet outil
- 1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
- 2
Click Analyze. The server fetches that site's live robots.txt and returns it.
- 3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
- 4
Adjust the URL and analyze again to compare another host or a different environment.
Qu'est-ce que l'inspecteur de robots.txt ?
robots.txt est un protocole volontaire permettant d'indiquer aux robots d'exploration web ce à quoi ils peuvent accéder. Les principaux moteurs de recherche le respectent ; les bots malveillants l'ignorent. Les erreurs courantes consistent à bloquer des ressources critiques, à utiliser des caractères génériques de façon incorrecte et à oublier d'inclure une directive Sitemap. Cet inspecteur analyse n'importe quel robots.txt et regroupe les règles par user-agent.
Cas d'usage courants
Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.
Questions fréquentes
Où se situe robots.txt ?▼
Quelle est la différence entre Disallow et noindex ?▼
Outils connexes
Analyseur de métabalises
Extrayez et analysez toutes les métabalises de n'importe quelle URL : titre, description, Open Graph, Twitter Card, viewport, robots et balises link.
Analyseur de hiérarchie des titres
Auditez la structure H1-H6 de n'importe quelle page. Signale l'absence de H1, les H1 multiples et les niveaux de titre omis.
Validateur de balisage Schema
Extrayez et validez les données structurées JSON-LD de n'importe quelle URL. Voyez quels types de schema sont présents et s'ils s'analysent correctement.
Inspecteur Open Graph
Prévisualisez l'apparence d'une URL lorsqu'elle est partagée sur Facebook, Twitter/X, LinkedIn et d'autres plateformes.
Inspecteur de sitemaps
Analysez n'importe quel sitemap XML : nombre d'URL, couverture de lastmod et structure de l'index de sitemaps.
Comptage de mots d'une page
Comptez les mots visibles de n'importe quelle page web. Exclut les scripts, les styles et le contenu masqué.