Gerador de robots.txt
Gere um arquivo robots.txt de forma visual. Configure as regras de rastreamento para os principais mecanismos de busca e bots de IA.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Como usar esta ferramenta
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
O que é o Gerador de robots.txt?
O robots.txt indica aos rastreadores web a quais páginas eles podem e não podem acessar. É um protocolo voluntário: os rastreadores que se comportam bem o respeitam; os bots maliciosos o ignoram. Este gerador cria arquivos robots.txt em conformidade com o padrão. Para regras complexas, consulte robotstxt.org e a especificação completa.
Casos de uso comuns
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Perguntas frequentes
Onde devo enviar o robots.txt?▼
Devo bloquear os bots de IA?▼
Ferramentas relacionadas
Gerador de Senhas
Gere senhas criptograficamente seguras no seu navegador. Nada é enviado a nenhum servidor: os bytes aleatórios vêm da API crypto do seu navegador.
Gerador de Nomes de Usuário do WordPress
Gere nomes de usuário de administrador do WordPress seguros e aleatórios. Nunca use 'admin': é o alvo número um de ataques de força bruta.
Gerador de Nomes de Domínio
Gere ideias de nomes de domínio com potencial de marca a partir de uma palavra-chave. As combinações incluem prefixos, sufixos e modificadores comuns.
Gerador de Nomes de Empresa
Gere ideias de nomes de empresa com potencial de marca. Combina palavras reais com modificadores para produzir nomes memoráveis.
Gerador de Slugs de URL
Converta texto em slugs adequados para URL: passe para minúsculas, remova caracteres especiais e separe as palavras com hifens.
Gerador de Lorem Ipsum
Gere texto de preenchimento para mockups e layouts. Escolha parágrafos, frases ou palavras.