Kompatibilität:

WebSite X5 Pro

WebSite X5 generiert die Datei  robots.txt und fügt sie ins Hauptverzeichnis der Websi hinzu, damit die Suchmaschinen wissen, welche Inhalte nicht indexiert werden sollen. 


Roborts sind Programmen, die das Web für verschiedene Zwecke automatisch scannen: Sie werden z. B. von Suchmaschinen wie Google™ für die Indexierung der Inhalte eriner Website. Die sogenannten Spammer verwenden sie dagegen, um E-Mail Adresse ohne entsprechende Genehmigung zu bekommen. 


Der Administrator einer Website kann mit der Datei robots.txt den Robot-Programmen erklären, was sie mit den Inhalten der Website tun sollen. Robots (mindestens diejenige, die vertrauenswürdig sind) kontrollieren, ob eine Datei robots.txt vorhanden ist und folgen die entsprechenden Hinweise, bevor sie auf die Website zugreifen.


Also die Datei robots.txt besteht aus Hinweise, die das folgende erklären:

  1. Welcher Art von Robots können die entsprechenden Regeln folgenden
  2. Die URLs der Seiten, die blockiert werden sollen.


WebSite X5 verfügt über eine standardmäßige Datei robots.txt mit den entsprechenden Hinweisen, damit die Robot Programmes die Inhalte bestimmter Unterverzeichnisse ignorieren, z. B. Admin und Res:


User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail


Diese Hinweise können Sie wunschgemäß anpassen.


Um die Datei robots.txt zu bearbeiten sollen Sie so vorgehen:


  • Gehen Sie auf Schritt 1- Einstellungen > SEO 
  • Öffnen Sie den Bereich Allgemein und klicken Sie auf Datei robots.txt einschließen.
  • Geben Sie ins unterstehende Feld die Hinweise, die in der Datei robots.txt eingeschlossen werden müssen. 


#Tipp - Mehr Informationen über Robot Programmen und darüber, wie man eine Datei robots.txt erstellen kann, können Sie die offizielle Website http://www.robotstxt.org oder das Google™ Webmaster Central (Block or remove pages using a robots.txt file) besuchen.