RevealTheme logo

Ispettore di robots.txt

Analizza i file robots.txt. Mostra le regole raggruppate per user-agent e segnala i problemi.

Che cos'è l'Ispettore di robots.txt?

robots.txt è un protocollo volontario per indicare ai crawler web a cosa possono accedere. I principali motori di ricerca lo rispettano; i bot malevoli lo ignorano. Gli errori comuni includono il blocco di risorse critiche, l'uso scorretto dei caratteri jolly e la dimenticanza di includere una direttiva Sitemap. Questo ispettore analizza qualsiasi robots.txt e raggruppa le regole per user-agent.

Domande frequenti

Dove si trova robots.txt?
Sempre nella radice del dominio: esempio.com/robots.txt. Nelle sottocartelle non funziona.
Qual è la differenza tra Disallow e noindex?
Disallow impedisce la scansione; noindex (in un meta tag) impedisce l'indicizzazione. Non sono intercambiabili.

Strumenti correlati