robots.txt Oluşturucu
robots.txt dosyasını görsel olarak oluşturun. Başlıca arama motorları ve yapay zeka botları için tarama kurallarını yapılandırın.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Bu araç nasıl kullanılır
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
robots.txt Oluşturucu nedir?
robots.txt, web tarayıcılarına hangi sayfalara erişebileceklerini ve hangilerine erişemeyeceklerini bildirir. Gönüllü bir protokoldür: iyi davranan tarayıcılar buna uyar; kötü niyetli botlar görmezden gelir. Bu oluşturucu, standarda uygun robots.txt dosyaları oluşturur. Karmaşık kurallar için robotstxt.org adresine ve tam belirtime başvurun.
Yaygın kullanım örnekleri
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Sıkça sorulan sorular
robots.txt dosyasını nereye yüklemeliyim?▼
Yapay zeka botlarını engellemeli miyim?▼
İlgili araçlar
Parola Oluşturucu
Tarayıcınızda kriptografik olarak güvenli parolalar oluşturun. Hiçbir sunucuya hiçbir şey gönderilmez: rastgele baytlar tarayıcınızın crypto API'sinden gelir.
WordPress Kullanıcı Adı Oluşturucu
Güvenli, rastgele WordPress yönetici kullanıcı adları oluşturun. Asla 'admin' kullanmayın: kaba kuvvet saldırılarının bir numaralı hedefidir.
Alan Adı Oluşturucu
Bir anahtar kelimeden marka potansiyeli olan alan adı fikirleri oluşturun. Kombinasyonlar yaygın ön ekleri, son ekleri ve değiştiricileri içerir.
Şirket İsmi Üreteci
Marka potansiyeli olan şirket ismi fikirleri üretin. Gerçek kelimeleri değiştiricilerle birleştirerek akılda kalıcı isimler oluşturur.
URL Slug Oluşturucu
Metni URL'ye uygun slug'lara dönüştürün: küçük harfe çevirir, özel karakterleri kaldırır ve kelimeleri tirelerle ayırır.
Lorem Ipsum Üretici
Maketler ve tasarımlar için dolgu metni üretin. Paragraf, cümle veya kelime seçin.