robots.txtインスペクター
robots.txtファイルを解析します。ルールをuser-agentごとにグループ化して表示し、問題点を指摘します。
このツールの使い方
- 1
Enter a site URL, for example https://example.com. If you leave off the path, the tool appends /robots.txt automatically.
- 2
Click Analyze. The server fetches that site's live robots.txt and returns it.
- 3
Read the raw file at the top, then scroll the parsed cards below to see Allow, Disallow, and Sitemap entries grouped by User-agent.
- 4
Adjust the URL and analyze again to compare another host or a different environment.
robots.txtインスペクターとは何ですか？
robots.txtは、ウェブクローラーに対して何にアクセスしてよいかを指示する任意の協定です。主要な検索エンジンはこれを尊重しますが、悪意のあるボットは無視します。よくある誤りとしては、重要なリソースをブロックしてしまうこと、ワイルドカードを誤って使うこと、Sitemapディレクティブを含め忘れることなどがあります。このインスペクターは、あらゆるrobots.txtを解析し、ルールをuser-agentごとにグループ化します。
よくある活用例
Confirm a production site is not accidentally serving Disallow: / that blocks every crawler before a launch.
Audit a competitor's robots.txt to see which sections they keep out of search engines.
Check that your Sitemap directive is present and points at the correct sitemap URL.
Compare the robots.txt on a staging host against production to catch a stray block before deploy.
Verify that a specific bot, such as GPTBot or Bingbot, has its own group with the rules you expect.
Quickly inspect any third-party domain's crawl rules when debugging why a page is missing from search results.
よくある質問
robots.txtはどこに置かれますか？▼
Disallowとnoindexの違いは何ですか？▼
関連ツール
メタタグアナライザー
任意のURLからすべてのメタタグを抽出して分析します。title、description、Open Graph、Twitter Card、viewport、robots、linkタグに対応しています。
見出し階層アナライザー
あらゆるページのH1〜H6構造を監査します。H1の欠如、複数のH1、スキップされた見出しレベルを指摘します。
スキーママークアップ検証ツール
任意のURLからJSON-LD構造化データを抽出して検証します。どのスキーマタイプが存在し、正しく解析されるかを確認できます。
Open Graphインスペクター
URLがFacebook、Twitter/X、LinkedInなどのプラットフォームで共有されたときに、どう表示されるかをプレビューします。
サイトマップインスペクター
あらゆるXMLサイトマップを分析します。URLの数、lastmodのカバー率、サイトマップインデックスの構造を確認できます。
ページの単語数カウント
あらゆるウェブページの表示される単語数を数えます。スクリプト、スタイル、非表示のコンテンツは除外されます。