robots.txt इंस्पेक्टर

robots.txt वेब क्रॉलर को यह बताने के लिए एक स्वैच्छिक प्रोटोकॉल है कि वे किन तक पहुँच सकते हैं। प्रमुख सर्च इंजन इसका सम्मान करते हैं; दुर्भावनापूर्ण बॉट इसे अनदेखा कर देते हैं। सामान्य त्रुटियों में महत्वपूर्ण संसाधनों को ब्लॉक करना, वाइल्डकार्ड का ग़लत उपयोग करना और Sitemap निर्देश शामिल करना भूल जाना शामिल है। यह इंस्पेक्टर किसी भी robots.txt का विश्लेषण करता है और नियमों को user-agent के अनुसार समूहीकृत करता है।