robots.txt जनरेटर
विज़ुअल तरीके से एक robots.txt फ़ाइल जनरेट करें। प्रमुख सर्च इंजन और AI बॉट के लिए क्रॉल नियम कॉन्फ़िगर करें।
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
इस टूल का उपयोग कैसे करें
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
robots.txt जनरेटर क्या है?
robots.txt वेब क्रॉलर को बताता है कि वे किन पेजों तक पहुँच सकते हैं और किन तक नहीं। यह एक स्वैच्छिक प्रोटोकॉल है: अच्छे व्यवहार वाले क्रॉलर इसका सम्मान करते हैं; दुर्भावनापूर्ण बॉट इसे अनदेखा कर देते हैं। यह जनरेटर मानक के अनुरूप robots.txt फ़ाइलें बनाता है। जटिल नियमों के लिए, robotstxt.org और पूर्ण विनिर्देश देखें।
सामान्य उपयोग के मामले
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
अक्सर पूछे जाने वाले प्रश्न
मुझे robots.txt कहाँ अपलोड करना चाहिए?▼
क्या मुझे AI बॉट को ब्लॉक करना चाहिए?▼
संबंधित टूल
पासवर्ड जनरेटर
अपने ब्राउज़र में क्रिप्टोग्राफ़िक रूप से सुरक्षित पासवर्ड जनरेट करें। किसी सर्वर पर कुछ भी नहीं भेजा जाता: रैंडम बाइट्स आपके ब्राउज़र के crypto API से आती हैं।
WordPress यूज़रनेम जनरेटर
सुरक्षित, यादृच्छिक WordPress एडमिन यूज़रनेम जनरेट करें। कभी भी 'admin' का उपयोग न करें: यह brute force का सबसे बड़ा लक्ष्य है।
डोमेन नेम जेनरेटर
किसी कीवर्ड से ब्रांड-योग्य डोमेन नाम के विचार जेनरेट करें। संयोजनों में सामान्य प्रीफ़िक्स, सफ़िक्स और मॉडिफ़ायर शामिल हैं।
बिज़नेस नाम जनरेटर
ब्रांड बनने की क्षमता वाले बिज़नेस नामों के आइडिया जनरेट करें। यादगार नाम बनाने के लिए वास्तविक शब्दों को मॉडिफ़ायर के साथ जोड़ता है।
URL Slug जनरेटर
टेक्स्ट को URL-अनुकूल slugs में बदलें: इसे लोअरकेस में करें, विशेष वर्ण हटाएँ और शब्दों को हाइफ़न से अलग करें।
Lorem Ipsum जनरेटर
मॉकअप और डिज़ाइन के लिए प्लेसहोल्डर टेक्स्ट उत्पन्न करें। पैराग्राफ़, वाक्य या शब्द चुनें।