RevealTheme logo

robots.txt Oluşturucu

robots.txt dosyasını görsel olarak oluşturun. Başlıca arama motorları ve yapay zeka botları için tarama kurallarını yapılandırın.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

robots.txt Oluşturucu nedir?

robots.txt, web tarayıcılarına hangi sayfalara erişebileceklerini ve hangilerine erişemeyeceklerini bildirir. Gönüllü bir protokoldür: iyi davranan tarayıcılar buna uyar; kötü niyetli botlar görmezden gelir. Bu oluşturucu, standarda uygun robots.txt dosyaları oluşturur. Karmaşık kurallar için robotstxt.org adresine ve tam belirtime başvurun.

Sıkça sorulan sorular

robots.txt dosyasını nereye yüklemeliyim?
Sitenizin kök dizinine: example.com/robots.txt. Kök dizinde olmalıdır; alt dizinlerde çalışmaz.
Yapay zeka botlarını engellemeli miyim?
Size bağlı. Onlara izin vermek, ChatGPT/Perplexity'nin içeriğinize referans verebileceği anlamına gelir. Engellemek, eğitim verisi taramasını önler, ancak görünürlüğü azaltır.

İlgili araçlar