robots.txt檢查器 — 免費線上工具

什麼是robots.txt檢查器？

robots.txt是一種自願性協定，用於告訴網路爬蟲它們可以存取什麼。主流搜尋引擎會遵守它；惡意機器人則會無視它。常見錯誤包括封鎖關鍵資源、錯誤使用萬用字元以及忘記包含Sitemap指令。本檢查器會剖析任意robots.txt並按user-agent對規則進行分組。

robots.txt放在哪裡？▼

始終放在網域的根目錄：ejemplo.com/robots.txt。放在子目錄裡不起作用。

Disallow和noindex有什麼區別？▼

Disallow阻止爬取；noindex（在meta標籤中）阻止索引。兩者不可互換。

從任意 URL 擷取並分析所有元標籤：標題、描述、Open Graph、Twitter Card、viewport、robots 以及 link 標籤。

審查任意頁面的H1-H6結構。標記出缺失的H1、多個H1以及被跳過的標題層級。

從任意URL中擷取並驗證JSON-LD結構化資料。查看頁面包含哪些schema類型，以及它們能否被正確解析。

預覽 URL 在 Facebook、Twitter/X、LinkedIn 及其他平台上分享時的顯示效果。

分析任意XML網站地圖：URL數量、lastmod涵蓋率以及網站地圖索引結構。

統計任意網頁中可見的字數。排除指令碼、樣式和隱藏內容。