robots.txt İnceleyici
robots.txt dosyalarını analiz edin. Kuralları user-agent'a göre gruplandırılmış olarak gösterir ve sorunları işaret eder.
Bu araç nasıl kullanılır
- 1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
- 2
Click Analyze. The server fetches that site's live robots.txt and returns it.
- 3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
- 4
Adjust the URL and analyze again to compare another host or a different environment.
robots.txt İnceleyici nedir?
robots.txt, web tarayıcılarına neye erişebileceklerini bildirmek için kullanılan gönüllü bir protokoldür. Başlıca arama motorları buna uyar; kötü niyetli botlar görmezden gelir. Yaygın hatalar arasında kritik kaynakları engellemek, joker karakterleri yanlış kullanmak ve bir Sitemap yönergesi eklemeyi unutmak yer alır. Bu inceleyici herhangi bir robots.txt dosyasını analiz eder ve kuralları user-agent'a göre gruplandırır.
Yaygın kullanım örnekleri
Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.
Sıkça sorulan sorular
robots.txt nerede bulunur?▼
Disallow ile noindex arasındaki fark nedir?▼
İlgili araçlar
Meta Etiket Analizörü
Herhangi bir URL'den tüm meta etiketleri çıkarın ve analiz edin: başlık, açıklama, Open Graph, Twitter Card, viewport, robots ve link etiketleri.
Başlık Hiyerarşisi Analizcisi
Herhangi bir sayfanın H1-H6 yapısını denetleyin. Eksik H1, birden fazla H1 ve atlanan başlık seviyelerini işaretler.
Schema İşaretleme Doğrulayıcı
Herhangi bir URL'den JSON-LD yapılandırılmış verileri çıkarın ve doğrulayın. Hangi schema türlerinin mevcut olduğunu ve doğru şekilde ayrıştırılıp ayrıştırılmadığını görün.
Open Graph İnceleyici
Bir URL'nin Facebook, Twitter/X, LinkedIn ve diğer platformlarda paylaşıldığında nasıl görüneceğini önizleyin.
Site Haritası İnceleyici
Herhangi bir XML site haritasını analiz edin: URL sayısı, lastmod kapsamı ve site haritası dizininin yapısı.
Sayfa Kelime Sayacı
Herhangi bir web sayfasındaki görünür kelimeleri sayın. Betikleri, stilleri ve gizli içeriği hariç tutar.