RevealTheme logo

Generator robots.txt

Generuje plik robots.txt w sposób wizualny. Skonfiguruj reguły indeksowania dla głównych wyszukiwarek i botów AI.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Czym jest generator robots.txt?

robots.txt informuje roboty sieciowe, do których stron mogą, a do których nie mogą uzyskać dostępu. Jest to protokół dobrowolny: dobrze zachowujące się roboty go respektują; złośliwe boty go ignorują. Ten generator tworzy pliki robots.txt zgodne ze standardem. W przypadku złożonych reguł zapoznaj się z robotstxt.org oraz pełną specyfikacją.

Najczęściej zadawane pytania

Gdzie powinienem przesłać plik robots.txt?
Do katalogu głównego Twojej witryny: example.com/robots.txt. Musi znajdować się w katalogu głównym; w podkatalogach nie działa.
Czy powinienem blokować boty AI?
To zależy od Ciebie. Zezwolenie na nie oznacza, że ChatGPT/Perplexity mogą odwoływać się do Twojej treści. Zablokowanie ich zapobiega indeksowaniu danych treningowych, ale zmniejsza widoczność.

Powiązane narzędzia