Генератор robots.txt
Генерирует файл robots.txt визуально. Настраивает правила краулинга для основных поисковых систем и ИИ-ботов.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Как пользоваться этим инструментом
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Что такое генератор robots.txt?
robots.txt указывает веб-краулерам, к каким страницам они могут и не могут получать доступ. Это добровольный протокол: добросовестные краулеры его соблюдают, а вредоносные боты игнорируют. Этот генератор создаёт файлы robots.txt, соответствующие стандарту. Для сложных правил обратитесь к robotstxt.org и полной спецификации.
Типичные сценарии использования
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Часто задаваемые вопросы
Куда следует загружать robots.txt?▼
Следует ли блокировать ИИ-ботов?▼
Похожие инструменты
Генератор паролей
Генерирует криптографически стойкие пароли прямо в вашем браузере. Ничего не отправляется на сервер: случайные байты берутся из crypto API вашего браузера.
Генератор имён пользователей WordPress
Генерирует безопасные случайные имена пользователей-администраторов WordPress. Никогда не используйте «admin» — это цель номер один для брутфорс-атак.
Генератор доменных имён
Генерирует идеи доменных имён с потенциалом для бренда на основе ключевого слова. Комбинации включают распространённые префиксы, суффиксы и модификаторы.
Генератор названий компаний
Генерирует идеи названий компаний с потенциалом для бренда. Комбинирует реальные слова с модификаторами, создавая запоминающиеся названия.
Генератор URL-слагов
Преобразует текст в пригодные для URL слаги: переводит в нижний регистр, удаляет специальные символы и разделяет слова дефисами.
Генератор Lorem Ipsum
Генерирует текст-заполнитель для макетов и дизайнов. Выбирайте абзацы, предложения или слова.