Pembuat robots.txt
Buat berkas robots.txt secara visual. Konfigurasikan aturan perayapan untuk mesin pencari utama dan bot AI.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Cara menggunakan alat ini
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Apa itu Pembuat robots.txt?
robots.txt memberi tahu perayap web halaman mana yang boleh dan tidak boleh mereka akses. Ini adalah protokol sukarela: perayap yang berperilaku baik mematuhinya; bot jahat mengabaikannya. Pembuat ini menciptakan berkas robots.txt yang sesuai dengan standar. Untuk aturan yang kompleks, lihat robotstxt.org dan spesifikasi lengkapnya.
Kasus penggunaan umum
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Pertanyaan yang sering diajukan
Di mana saya harus mengunggah robots.txt?▼
Haruskah saya memblokir bot AI?▼
Alat terkait
Pembuat Kata Sandi
Buat kata sandi yang aman secara kriptografis di peramban Anda. Tidak ada yang dikirim ke server mana pun: byte acak berasal dari API crypto peramban Anda.
Generator Nama Pengguna WordPress
Hasilkan nama pengguna administrator WordPress yang aman dan acak. Jangan pernah gunakan 'admin': itu adalah target serangan brute force nomor satu.
Generator Nama Domain
Hasilkan ide nama domain dengan potensi merek dari sebuah kata kunci. Kombinasinya mencakup prefiks, sufiks, dan modifikator umum.
Generator Nama Perusahaan
Hasilkan ide nama perusahaan dengan potensi merek. Gabungkan kata-kata nyata dengan pengubah untuk menghasilkan nama yang mudah diingat.
Generator Slug URL
Ubah teks menjadi slug yang aman untuk URL: jadikan huruf kecil, hapus karakter khusus, dan pisahkan kata dengan tanda hubung.
Generator Lorem Ipsum
Hasilkan teks pengisi untuk mockup dan desain. Pilih paragraf, kalimat, atau kata.