RevealTheme logo

robots.txt-inspecteur

Analyseert robots.txt-bestanden. Toont de regels gegroepeerd per user-agent en signaleert de problemen.

Wat is de robots.txt-inspecteur?

robots.txt is een vrijwillig protocol om webcrawlers aan te geven waartoe ze toegang hebben. De belangrijkste zoekmachines respecteren het; kwaadwillende bots negeren het. Veelvoorkomende fouten zijn het blokkeren van kritieke bronnen, het verkeerd gebruiken van jokertekens en het vergeten van een Sitemap-richtlijn. Deze inspecteur analyseert elke robots.txt en groepeert de regels per user-agent.

Veelgestelde vragen

Waar bevindt robots.txt zich?
Altijd in de root van het domein: voorbeeld.com/robots.txt. In submappen werkt het niet.
Wat is het verschil tussen Disallow en noindex?
Disallow verhindert het crawlen; noindex (in een metatag) verhindert de indexering. Ze zijn niet uitwisselbaar.

Gerelateerde tools