robots.txt-Generator
Erstellen Sie eine robots.txt-Datei auf visuelle Weise. Konfigurieren Sie die Crawling-Regeln für die wichtigsten Suchmaschinen und KI-Bots.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
So verwenden Sie dieses Tool
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Was ist der robots.txt-Generator?
robots.txt teilt Webcrawlern mit, auf welche Seiten sie zugreifen dürfen und auf welche nicht. Es handelt sich um ein freiwilliges Protokoll: Wohlgesinnte Crawler respektieren es; bösartige Bots ignorieren es. Dieser Generator erstellt robots.txt-Dateien, die dem Standard entsprechen. Für komplexe Regeln konsultieren Sie robotstxt.org und die vollständige Spezifikation.
Häufige Anwendungsfälle
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Häufig gestellte Fragen
Wo muss ich robots.txt hochladen?▼
Sollte ich KI-Bots blockieren?▼
Verwandte Tools
Passwort-Generator
Generieren Sie kryptografisch sichere Passwörter in Ihrem Browser. Nichts wird an einen Server gesendet – die Zufallsbytes stammen aus der Crypto-API Ihres Browsers.
WordPress-Benutzernamen-Generator
Generiert sichere, zufällige WordPress-Administrator-Benutzernamen. Verwenden Sie niemals 'admin': Das ist das Brute-Force-Ziel Nummer eins.
Domainnamen-Generator
Generieren Sie aus einem Schlüsselwort markentaugliche Ideen für Domainnamen. Die Kombinationen umfassen gängige Präfixe, Suffixe und Modifikatoren.
Firmennamen-Generator
Generieren Sie Ideen für Firmennamen mit Markenpotenzial. Kombiniert echte Wörter mit Modifikatoren, um einprägsame Namen zu erzeugen.
URL-Slug-Generator
Wandeln Sie Text in URL-taugliche Slugs um: in Kleinbuchstaben, Sonderzeichen entfernen und Wörter mit Bindestrichen trennen.
Lorem-Ipsum-Generator
Generieren Sie Blindtext für Mockups und Layouts. Wählen Sie Absätze, Sätze oder Wörter.