robots.txt-Inspektor
Analysieren Sie robots.txt-Dateien. Zeigt die nach User-Agent gruppierten Regeln an und weist auf Probleme hin.
So verwenden Sie dieses Tool
- 1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
- 2
Click Analyze. The server fetches that site's live robots.txt and returns it.
- 3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
- 4
Adjust the URL and analyze again to compare another host or a different environment.
Was ist der robots.txt-Inspektor?
robots.txt ist ein freiwilliges Protokoll, um Webcrawlern mitzuteilen, worauf sie zugreifen dürfen. Die großen Suchmaschinen respektieren es; bösartige Bots ignorieren es. Zu den häufigen Fehlern gehören das Blockieren kritischer Ressourcen, der falsche Einsatz von Platzhaltern und das Vergessen einer Sitemap-Direktive. Dieser Inspektor analysiert eine beliebige robots.txt und gruppiert die Regeln nach User-Agent.
Häufige Anwendungsfälle
Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.
Häufig gestellte Fragen
Wo befindet sich robots.txt?▼
Was ist der Unterschied zwischen Disallow und noindex?▼
Verwandte Tools
Meta-Tag-Analyse
Extrahieren und analysieren Sie alle Meta-Tags einer beliebigen URL: Titel, Beschreibung, Open Graph, Twitter Card, Viewport, Robots und Link-Tags.
Überschriften-Hierarchie-Analysator
Prüfen Sie die H1-H6-Struktur jeder beliebigen Seite. Erkennt fehlende H1, mehrfache H1 und übersprungene Überschriftenebenen.
Schema-Markup-Validator
Extrahieren und validieren Sie strukturierte JSON-LD-Daten von einer beliebigen URL. Sehen Sie, welche Schema-Typen vorhanden sind und ob sie korrekt geparst werden.
Open-Graph-Inspektor
Zeigt eine Vorschau, wie eine URL beim Teilen auf Facebook, Twitter/X, LinkedIn und anderen Plattformen erscheint.
Sitemap-Inspektor
Analysieren Sie eine beliebige XML-Sitemap: Anzahl der URLs, lastmod-Abdeckung und Struktur des Sitemap-Index.
Seiten-Wortzähler
Zählt die sichtbaren Wörter jeder Webseite. Schließt Skripte, Stile und versteckte Inhalte aus.