Trình tạo robots.txt
Tạo tệp robots.txt một cách trực quan. Cấu hình các quy tắc thu thập dữ liệu cho các công cụ tìm kiếm chính và các bot AI.
User-agent: * Allow: / Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Cách sử dụng công cụ này
- 1
Tick 'Allow all standard crawlers' to add an explicit Allow: / line, or untick it to leave it out.
- 2
Enter the paths you want crawlers to skip in the disallowed box, one per line (for example /admin/ or /api/).
- 3
Optionally tick 'Block AI training crawlers' to add Disallow rules for GPTBot, ClaudeBot, PerplexityBot, CCBot and Google-Extended, and paste your sitemap URL.
- 4
Select the generated text in the preview box, copy it, and save it as a file named robots.txt at your domain root.
Trình tạo robots.txt là gì?
robots.txt cho các trình thu thập dữ liệu web biết chúng có thể và không thể truy cập những trang nào. Đây là một giao thức tự nguyện: các trình thu thập dữ liệu hành xử tốt sẽ tôn trọng nó; các bot độc hại bỏ qua nó. Trình tạo này tạo ra các tệp robots.txt tuân thủ tiêu chuẩn. Đối với các quy tắc phức tạp, hãy tham khảo robotstxt.org và đặc tả đầy đủ.
Các trường hợp sử dụng phổ biến
Keeping crawlers out of admin, API, or internal paths like /admin/ and /api/ while leaving the rest of the site open.
Generating a starter robots.txt for a brand-new site that does not have one yet.
Blocking the five named AI training crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended) so your content is not scraped for model training.
Adding or correcting the Sitemap: line so search engines can discover your sitemap.xml.
Drafting rules quickly to paste into a CMS or static-site config, then hand-editing for anything advanced.
Teaching teammates what a minimal, readable robots.txt looks like before they edit the real one.
Câu hỏi thường gặp
Tôi nên tải robots.txt lên đâu?▼
Tôi có nên chặn các bot AI không?▼
Công cụ liên quan
Trình tạo mật khẩu
Tạo mật khẩu an toàn về mặt mật mã ngay trong trình duyệt của bạn. Không có gì được gửi tới bất kỳ máy chủ nào: các byte ngẫu nhiên đến từ API crypto của trình duyệt.
Bộ tạo tên người dùng WordPress
Tạo tên người dùng quản trị WordPress an toàn và ngẫu nhiên. Đừng bao giờ dùng 'admin': đó là mục tiêu tấn công dò mật khẩu số một.
Bộ tạo tên miền
Tạo ý tưởng tên miền có tiềm năng thương hiệu từ một từ khóa. Các tổ hợp bao gồm các tiền tố, hậu tố và bổ ngữ thông dụng.
Trình tạo tên doanh nghiệp
Tạo ý tưởng tên doanh nghiệp có tiềm năng thương hiệu. Kết hợp các từ thực với các bổ ngữ để tạo ra những cái tên dễ nhớ.
Trình tạo Slug URL
Chuyển đổi văn bản thành slug thân thiện với URL: viết thường, loại bỏ các ký tự đặc biệt và phân tách các từ bằng dấu gạch nối.
Trình tạo Lorem Ipsum
Tạo văn bản giữ chỗ cho các bản mẫu và thiết kế. Chọn đoạn văn, câu hoặc từ.