Compatibility:

WebSite X5 Pro


WebSite X5 è in grado di generare il file robots.txt e di includerlo nella directory principale del Sito, al fine di indicare quali contenuti devono essere esclusi dall'indicizzazione dei Motori di ricerca.


I robots sono dei programmi che scandagliano automaticamente il Web con scopi diversi: i Motori di ricerca come Google™, per esempio, li utilizzano per indicizzare i contenuti; gli spammer, invece, li impiegano per collezionare in maniera fraudolenta indirizzi e-mail.


L'obiettivo del file robots.txt è di permettere al proprietario di un Sito Web di fornire delle istruzioni ai robot su cosa devono fare con il loro sito. I robot, infatti, perlomeno quelli affidabili, prima di accedere alle pagine di un Sito, effettuano un controllo per verificare la presenza di un file robots.txt e ne seguono le istruzioni.


Dunque, il file robots.txt non è altro che un semplice file di testo in cui sono elencate le istruzioni necessarie per specificare:

  1. i robot a cui si applicano le regole;
  2. le URL delle pagine che si vogliono bloccare.


WebSite X5 propone di default le istruzioni di base per fare in modo che tutti i robot non considerino i contenuti di alcune sottocartelle come, per esempio, admin e res:


User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail


In qualsiasi caso, puoi modificare manualmente queste regole di base in base alle tue esigenze specifiche.


Per modificare e includere il file robots.txt è sufficiente seguire questi passi:

  • Vai al Passo 1 - Impostazioni > Avanzate > Statistiche, SEO e Codice.
  • Apri la sezione Base e seleziona l'opzione Includi il file robots.txt.
  • Utilizza il campo sottostante per modificare manualmente le istruzioni da includere nel file robots.txt.


#tip - Per maggiori informazioni e per sapere come creare il file robots.txt, vedi il sito ufficiale http://www.robotstxt.org o consulta il Centro Assistenza per Webmaster di Google™ (Blocco o rimozione di pagine utilizzando un file robots.txt)