Generator robots.txt
Generuje plik robots.txt w sposób wizualny. Skonfiguruj reguły indeksowania dla głównych wyszukiwarek i botów AI.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Jak korzystać z tego narzędzia
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Czym jest generator robots.txt?
robots.txt informuje roboty sieciowe, do których stron mogą, a do których nie mogą uzyskać dostępu. Jest to protokół dobrowolny: dobrze zachowujące się roboty go respektują; złośliwe boty go ignorują. Ten generator tworzy pliki robots.txt zgodne ze standardem. W przypadku złożonych reguł zapoznaj się z robotstxt.org oraz pełną specyfikacją.
Typowe przypadki użycia
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Najczęściej zadawane pytania
Gdzie powinienem przesłać plik robots.txt?▼
Czy powinienem blokować boty AI?▼
Powiązane narzędzia
Generator haseł
Generuje kryptograficznie bezpieczne hasła w Twojej przeglądarce. Nic nie jest wysyłane na żaden serwer: losowe bajty pochodzą z interfejsu crypto Twojej przeglądarki.
Generator nazw użytkowników WordPress
Generuj bezpieczne, losowe nazwy użytkowników administratora WordPress. Nigdy nie używaj „admin”: to cel ataków siłowych numer jeden.
Generator nazw domen
Generuj pomysły na nazwy domen z potencjałem brandingowym na podstawie słowa kluczowego. Kombinacje obejmują popularne przedrostki, przyrostki i modyfikatory.
Generator nazw firm
Generuj pomysły na nazwy firm z potencjałem na markę. Łączy prawdziwe słowa z modyfikatorami, aby tworzyć łatwe do zapamiętania nazwy.
Generator slugów URL
Konwertuj tekst na slugi przyjazne dla adresów URL: zamienia na małe litery, usuwa znaki specjalne i oddziela słowa myślnikami.
Generator Lorem Ipsum
Generuj tekst wypełniający do makiet i projektów. Wybierz akapity, zdania lub słowa.