بازرس robots.txt

robots.txt یک پروتکل داوطلبانه برای گفتن به خزنده‌های وب درباره آنچه می‌توانند به آن دسترسی داشته باشند است. موتورهای جستجوی اصلی به آن احترام می‌گذارند؛ روبات‌های مخرب آن را نادیده می‌گیرند. خطاهای رایج شامل مسدود کردن منابع حیاتی، استفاده نادرست از نویسه‌های جایگزین (wildcard) و فراموش کردن گنجاندن یک دستورالعمل Sitemap است. این بازرس هر robots.txt را تحلیل می‌کند و قواعد را بر اساس user-agent گروه‌بندی می‌کند.