Generare un robot.txt File
Generare un file robots.txt pulito con sitemap e regole di strisciamento.
Come utilizzare il Generatore di robot.txt
Scegli l'agente utente
Utilizzare * per ogni crawler, o nominare uno specifico quando una regola dovrebbe applicarsi solo ad esso.
Impostare i percorsi consentiti e disinnescare
Elencare i percorsi crawler dovrebbe saltare, come ad esempio le pagine di ricerca interna o di amministrazione, e qualsiasi eccezione per consentire.
Aggiungi la mappa del sito e copia
Inserisci il tuo URL della mappa del sito, quindi copia il file e salvalo come robots.txt alla radice del tuo dominio.
Informazioni su Generatore di robot.txt
robots.txt è il primo file che un crawler chiede e uno dei più facili per ottenere catastroficamente sbagliato. Si siede alla radice del vostro dominio e dice crawler quali percorsi possono richiedere. Una stretta in una regola disallow può nascondere un intero sito da ricerca, e perché nulla visibilmente si rompe, che errore spesso sopravvive per mesi prima che qualcuno lo colleghi al traffico che mai arrivato.
La sintassi è piccola ma indifesa: le regole sono abbinate al prefisso, all'ordine e alla specificità interagiscono, e un file vuoto o malformato viene trattato in modo molto diverso da quello permissivo. Questo strumento costruisce un file valido dalle parti che realmente si interessano — a cui si applica una regola di crawler, a cosa consentire, cosa disinviare, e dove vive la mappa del sito.
Una cosa che vale la pena essere chiara: robots.txt controlla strisciare, non indicizzare o accedere. Un URL non consentito può ancora apparire nei risultati se altri siti si collegano ad esso, e il file è pubblico, quindi elencare un percorso segreto lo pubblicizza. Qualsiasi autenticamente privato ha bisogno di autenticazione o un tag noindex, non una linea in questo file.
Domande frequenti
- Dove metto il file robots.txt?
- Alla radice del tuo dominio, quindi è raggiungibile sul tuosite.com/robots.txt. Crawlers non guardare altrove.
- Robots.txt ferma una pagina indicizzata?
- No. Si ferma strisciando, ma un URL bloccato può ancora essere elencato se altri siti si collegano ad esso.
- Dovrei elencare la mia mappa del sito in robots.txt?
- Sì, è il modo standard per puntare ogni crawler sulla mappa del sito senza inviarlo a ciascuno singolarmente.