robots.txt इंस्पेक्टर
robots.txt फ़ाइलों का विश्लेषण करें। नियमों को user-agent के अनुसार समूहीकृत करके दिखाता है और समस्याओं को चिह्नित करता है।
इस टूल का उपयोग कैसे करें
- 1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
- 2
Click Analyze. The server fetches that site's live robots.txt and returns it.
- 3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
- 4
Adjust the URL and analyze again to compare another host or a different environment.
robots.txt इंस्पेक्टर क्या है?
robots.txt वेब क्रॉलर को यह बताने के लिए एक स्वैच्छिक प्रोटोकॉल है कि वे किन तक पहुँच सकते हैं। प्रमुख सर्च इंजन इसका सम्मान करते हैं; दुर्भावनापूर्ण बॉट इसे अनदेखा कर देते हैं। सामान्य त्रुटियों में महत्वपूर्ण संसाधनों को ब्लॉक करना, वाइल्डकार्ड का ग़लत उपयोग करना और Sitemap निर्देश शामिल करना भूल जाना शामिल है। यह इंस्पेक्टर किसी भी robots.txt का विश्लेषण करता है और नियमों को user-agent के अनुसार समूहीकृत करता है।
सामान्य उपयोग के मामले
Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.
अक्सर पूछे जाने वाले प्रश्न
robots.txt कहाँ स्थित होता है?▼
Disallow और noindex में क्या अंतर है?▼
संबंधित टूल
मेटा टैग विश्लेषक
किसी भी URL के सभी मेटा टैग निकालें और उनका विश्लेषण करें: शीर्षक, विवरण, Open Graph, Twitter Card, viewport, robots और link टैग।
हेडिंग पदानुक्रम विश्लेषक
किसी भी पेज की H1-H6 संरचना का ऑडिट करें। गायब H1, एकाधिक H1 और छोड़े गए हेडिंग स्तरों को चिह्नित करता है।
Schema मार्कअप वैलिडेटर
किसी भी URL से JSON-LD संरचित डेटा निकालें और सत्यापित करें। देखें कि कौन-से schema प्रकार मौजूद हैं और क्या वे सही ढंग से पार्स होते हैं।
Open Graph इंस्पेक्टर
पूर्वावलोकन करें कि Facebook, Twitter/X, LinkedIn और अन्य प्लेटफ़ॉर्म पर साझा करने पर कोई URL कैसी दिखेगी।
Sitemap इंस्पेक्टर
किसी भी XML sitemap का विश्लेषण करें: URL की संख्या, lastmod कवरेज और sitemap इंडेक्स की संरचना।
पेज वर्ड काउंट
किसी भी वेब पेज के दृश्यमान शब्दों की गिनती करें। स्क्रिप्ट, स्टाइल और छिपा हुआ कंटेंट इसमें शामिल नहीं होता।