Generatore di robots.txt
Genera un file robots.txt in modo visuale. Configura le regole di scansione per i principali motori di ricerca e i bot di IA.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Come usare questo strumento
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Che cos'è il Generatore di robots.txt?
robots.txt indica ai crawler web a quali pagine possono e non possono accedere. È un protocollo volontario: i crawler che si comportano bene lo rispettano; i bot malevoli lo ignorano. Questo generatore crea file robots.txt conformi allo standard. Per regole complesse, consulti robotstxt.org e la specifica completa.
Casi d'uso comuni
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Domande frequenti
Dove devo caricare robots.txt?▼
Devo bloccare i bot di IA?▼
Strumenti correlati
Generatore di password
Genera password crittograficamente sicure nel suo browser. Non viene inviato nulla ad alcun server: i byte casuali provengono dall'API crypto del suo browser.
Generatore di nomi utente di WordPress
Genera nomi utente amministratore di WordPress sicuri e casuali. Non usi mai 'admin': è il bersaglio numero uno degli attacchi di forza bruta.
Generatore di nomi di dominio
Genera idee di nomi di dominio con potenziale di brand a partire da una parola chiave. Le combinazioni includono prefissi, suffissi e modificatori comuni.
Generatore di nomi aziendali
Genera idee di nomi aziendali con potenziale come marchio. Combina parole reali con modificatori per produrre nomi memorabili.
Generatore di slug per URL
Converte il testo in slug adatti agli URL: trasforma in minuscolo, rimuove i caratteri speciali e separa le parole con trattini.
Generatore di Lorem Ipsum
Genera testo segnaposto per mockup e layout. Scelga paragrafi, frasi o parole.