Compatibilità:
WebSite X5 Pro
WebSite X5 è in grado di generare il file robots.txt e di includerlo nella directory principale del Sito, al fine di indicare quali contenuti devono essere esclusi dall'indicizzazione dei Motori di ricerca.
I robots sono dei programmi che scandagliano automaticamente il Web con scopi diversi: i Motori di ricerca come Google™, per esempio, li utilizzano per indicizzare i contenuti; gli spammer, invece, li impiegano per collezionare in maniera fraudolenta indirizzi e-mail.
L'obiettivo del file robots.txt è di permettere al proprietario di un Sito Web di fornire delle istruzioni ai robot su cosa devono fare con il loro sito. I robot, infatti, perlomeno quelli affidabili, prima di accedere alle pagine di un Sito, effettuano un controllo per verificare la presenza di un file robots.txt e ne seguono le istruzioni.
Dunque, il file robots.txt non è altro che un semplice file di testo in cui sono elencate le istruzioni necessarie per specificare:
- i robot a cui si applicano le regole;
- le URL delle pagine che si vogliono bloccare.
WebSite X5 propone di default le istruzioni di base per fare in modo che tutti i robot non considerino i contenuti di alcune sottocartelle come, per esempio, admin e res:
User-agent: * Disallow: /admin Disallow: /captcha Disallow: /menu Disallow: /imemail
In qualsiasi caso, puoi modificare manualmente queste regole di base in base alle tue esigenze specifiche.
Per modificare e includere il file robots.txt è sufficiente seguire questi passi:
- Vai al Passo 1 - Impostazioni > SEO.
- Apri la sezione Generale e seleziona l'opzione Includi il file robots.txt.
- Utilizza il campo sottostante per modificare manualmente le istruzioni da includere nel file robots.txt.
#tip - Per maggiori informazioni e per sapere come creare il file robots.txt, vedi il sito ufficiale http://www.robotstxt.org o consulta il Centro Assistenza per Webmaster di Google™ (Blocco o rimozione di pagine utilizzando un file robots.txt)