robots.txt-inspecteur
Analyseert robots.txt-bestanden. Toont de regels gegroepeerd per user-agent en signaleert de problemen.
Hoe u deze tool gebruikt
- 1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
- 2
Click Analyze. The server fetches that site's live robots.txt and returns it.
- 3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
- 4
Adjust the URL and analyze again to compare another host or a different environment.
Wat is de robots.txt-inspecteur?
robots.txt is een vrijwillig protocol om webcrawlers aan te geven waartoe ze toegang hebben. De belangrijkste zoekmachines respecteren het; kwaadwillende bots negeren het. Veelvoorkomende fouten zijn het blokkeren van kritieke bronnen, het verkeerd gebruiken van jokertekens en het vergeten van een Sitemap-richtlijn. Deze inspecteur analyseert elke robots.txt en groepeert de regels per user-agent.
Veelvoorkomende toepassingen
Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.
Veelgestelde vragen
Waar bevindt robots.txt zich?▼
Wat is het verschil tussen Disallow en noindex?▼
Gerelateerde tools
Metatags-analyse
Extraheert en analyseert alle metatags van een willekeurige URL: titel, beschrijving, Open Graph, Twitter Card, viewport, robots en link-tags.
Analyzer voor koppenhiërarchie
Controleer de H1-H6-structuur van elke pagina. Signaleert een ontbrekende H1, meerdere H1's en overgeslagen kopniveaus.
Schema-opmaakvalidator
Extraheer en valideer JSON-LD-gestructureerde gegevens van elke URL. Bekijk welke schematypen aanwezig zijn en of ze correct worden geanalyseerd.
Open Graph-inspecteur
Bekijk een voorbeeld van hoe een URL zal verschijnen bij het delen op Facebook, Twitter/X, LinkedIn en andere platforms.
Sitemap-inspecteur
Analyseer elke XML-sitemap: aantal URL's, dekking van lastmod en structuur van de sitemapindex.
Woordenteller voor pagina's
Telt de zichtbare woorden van elke webpagina. Sluit scripts, stijlen en verborgen inhoud uit.