robots.txt检查器
解析robots.txt文件。按user-agent分组显示规则并标记问题。
什么是robots.txt检查器？
robots.txt是一种自愿性协议，用于告诉网络爬虫它们可以访问什么。主流搜索引擎会遵守它；恶意机器人则会无视它。常见错误包括屏蔽关键资源、错误使用通配符以及忘记包含Sitemap指令。本检查器会解析任意robots.txt并按user-agent对规则进行分组。
常见问题
robots.txt放在哪里？▼
始终放在域名的根目录：ejemplo.com/robots.txt。放在子目录里不起作用。
Disallow和noindex有什么区别？▼
Disallow阻止抓取；noindex（在meta标签中）阻止索引。两者不可互换。
相关工具
元标签分析工具
从任意URL提取并分析所有元标签：标题、描述、Open Graph、Twitter Card、viewport、robots以及link标签。
标题层级分析工具
审查任意页面的H1-H6结构。标记出缺失的H1、多个H1以及被跳过的标题层级。
Schema标记验证工具
从任意URL中提取并验证JSON-LD结构化数据。查看页面包含哪些schema类型，以及它们能否被正确解析。
Open Graph检查工具
预览URL在Facebook、Twitter/X、LinkedIn及其他平台上分享时的显示效果。
站点地图检查工具
分析任意XML站点地图：URL数量、lastmod覆盖率以及站点地图索引结构。
页面字数统计
统计任意网页中可见的字数。排除脚本、样式和隐藏内容。