RevealTheme logo

Générateur de robots.txt

Générez un fichier robots.txt de façon visuelle. Configurez les règles d'exploration pour les principaux moteurs de recherche et bots d'IA.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Qu'est-ce que le générateur de robots.txt ?

robots.txt indique aux robots d'exploration web les pages auxquelles ils peuvent et ne peuvent pas accéder. C'est un protocole volontaire : les robots qui se comportent bien le respectent ; les bots malveillants l'ignorent. Ce générateur crée des fichiers robots.txt conformes au standard. Pour des règles complexes, consultez robotstxt.org et la spécification complète.

Questions fréquentes

Où dois-je téléverser robots.txt ?
À la racine de votre site : example.com/robots.txt. Il doit se trouver à la racine ; dans les sous-répertoires, il ne fonctionne pas.
Dois-je bloquer les bots d'IA ?
C'est à vous de décider. Les autoriser signifie que ChatGPT/Perplexity peuvent référencer votre contenu. Les bloquer empêche la collecte de données d'entraînement, mais réduit la visibilité.

Outils connexes