RevealTheme logo

مولّد robots.txt

يولّد ملف robots.txt بصريًا. اضبط قواعد الزحف لأبرز محركات البحث وروبوتات الذكاء الاصطناعي.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

ما هو مولّد robots.txt؟

يخبر ملف robots.txt زواحف الويب بالصفحات التي يمكنها الوصول إليها وتلك التي لا يمكنها. وهو بروتوكول طوعي: فالزواحف حسنة السلوك تحترمه؛ والروبوتات الخبيثة تتجاهله. ينشئ هذا المولّد ملفات robots.txt متوافقة مع المعيار. وللقواعد المعقدة، راجع robotstxt.org والمواصفة الكاملة.

الأسئلة الشائعة

أين ينبغي أن أرفع ملف robots.txt؟
في جذر موقعك: example.com/robots.txt. يجب أن يكون في الجذر؛ فهو لا يعمل في المجلدات الفرعية.
هل ينبغي أن أحجب روبوتات الذكاء الاصطناعي؟
هذا قرارك. السماح لها يعني أن ChatGPT/Perplexity يمكنهما الإشارة إلى محتواك. وحجبها يمنع زحف بيانات التدريب، لكنه يقلل الظهور.

أدوات ذات صلة