Robots

Robots (auch Spider und Crawler) sind Programme, die automatisiert für einen Benutzer oder Server das Internet nach neuen und aktualisierten Webseiten durchsuchen, indem sie selbstständig den Links folgen. Sie werden von den Suchmaschinen zur Recherche ausgesendet und durchforsten die Webserver. Die Robots erfassen und charakterisieren die Dokumente anhand von Keywords und führen die Daten der Websites den Suchmaschinen zu.