Générateur de robots.txt
Générez un fichier robots.txt de façon visuelle. Configurez les règles d'exploration pour les principaux moteurs de recherche et bots d'IA.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Comment utiliser cet outil
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Qu'est-ce que le générateur de robots.txt ?
robots.txt indique aux robots d'exploration web les pages auxquelles ils peuvent et ne peuvent pas accéder. C'est un protocole volontaire : les robots qui se comportent bien le respectent ; les bots malveillants l'ignorent. Ce générateur crée des fichiers robots.txt conformes au standard. Pour des règles complexes, consultez robotstxt.org et la spécification complète.
Cas d'usage courants
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Questions fréquentes
Où dois-je téléverser robots.txt ?▼
Dois-je bloquer les bots d'IA ?▼
Outils connexes
Générateur de mots de passe
Générez des mots de passe cryptographiquement sûrs dans votre navigateur. Rien n'est envoyé à un quelconque serveur : les octets aléatoires proviennent de l'API crypto de votre navigateur.
Générateur de noms d'utilisateur WordPress
Générez des noms d'utilisateur administrateur WordPress sûrs et aléatoires. N'utilisez jamais « admin » : c'est la cible numéro un des attaques par force brute.
Générateur de noms de domaine
Générez des idées de noms de domaine au potentiel de marque à partir d'un mot-clé. Les combinaisons incluent des préfixes, des suffixes et des modificateurs courants.
Générateur de noms d'entreprise
Générez des idées de noms d'entreprise à fort potentiel de marque. Combinez des mots réels avec des modificateurs pour produire des noms mémorables.
Générateur de slugs d'URL
Convertissez du texte en slugs adaptés aux URL : passage en minuscules, suppression des caractères spéciaux et séparation des mots par des tirets.
Générateur de Lorem Ipsum
Générez du texte de remplissage pour vos maquettes et vos mises en page. Choisissez des paragraphes, des phrases ou des mots.