robots.txt-generator
Genereer visueel een robots.txt-bestand. Configureer de crawlregels voor de belangrijkste zoekmachines en AI-bots.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Hoe u deze tool gebruikt
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Wat is de robots.txt-generator?
robots.txt geeft webcrawlers aan tot welke pagina's ze wel en niet toegang hebben. Het is een vrijwillig protocol: crawlers die zich netjes gedragen respecteren het; kwaadwillende bots negeren het. Deze generator maakt robots.txt-bestanden die voldoen aan de standaard. Raadpleeg voor complexe regels robotstxt.org en de volledige specificatie.
Veelvoorkomende toepassingen
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Veelgestelde vragen
Waar moet ik robots.txt uploaden?▼
Moet ik AI-bots blokkeren?▼
Gerelateerde tools
Wachtwoordgenerator
Genereer cryptografisch veilige wachtwoorden in uw browser. Er wordt niets naar een server verzonden: de willekeurige bytes komen uit de crypto-API van uw browser.
WordPress-gebruikersnaamgenerator
Genereer veilige, willekeurige WordPress-beheerdersgebruikersnamen. Gebruik nooit 'admin': dat is het belangrijkste doelwit van brute-force-aanvallen.
Domeinnaamgenerator
Genereer ideeën voor domeinnamen met merkpotentieel op basis van een trefwoord. De combinaties omvatten gangbare voorvoegsels, achtervoegsels en modificatoren.
Bedrijfsnaamgenerator
Genereer ideeën voor bedrijfsnamen met merkpotentieel. Combineert echte woorden met modificatoren om gedenkwaardige namen te produceren.
URL-sluggenerator
Zet tekst om in URL-geschikte slugs: zet om naar kleine letters, verwijder speciale tekens en scheid de woorden met koppeltekens.
Lorem Ipsum-generator
Genereer opvultekst voor mock-ups en ontwerpen. Kies alinea's, zinnen of woorden.