Crawler

Ein (Web-)Crawler ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Daher werden Webcrawler vor allem von Suchmaschinen eingesetzt.