Inhaltsverzeichnis:
Definition - Was bedeutet Spinne?
Im Zusammenhang mit dem Internet ist eine Spinne eine spezielle Software, die entwickelt wurde, um das World Wide Web systematisch zu durchsuchen und zu indizieren, um Webseiten als Suchergebnisse für Suchanfragen von Benutzern bereitzustellen. Die bekannteste dieser Spinnen ist der Googlebot, Googles Hauptcrawler, mit dessen Hilfe sichergestellt wird, dass relevante Ergebnisse für Suchanfragen zurückgegeben werden.
Spinnen werden auch als Web-Crawler, Such-Bots oder einfach als Bots bezeichnet.
Techopedia erklärt Spider
Eine Spinne ist im Wesentlichen ein Programm, mit dem Informationen aus dem World Wide Web gesammelt werden. Es durchsucht die Seiten von Websites, extrahiert Informationen und indiziert sie zur späteren Verwendung, normalerweise für Suchmaschinenergebnisse. Die Spinne besucht Websites und deren Seiten über die verschiedenen Links zu und von den Seiten, sodass eine Seite ohne einen einzigen Link nur schwer zu indizieren ist und möglicherweise auf der Suchergebnisseite einen sehr niedrigen Rang hat. Und wenn es viele Links gibt, die auf eine Seite verweisen, würde dies bedeuten, dass die Seite beliebt ist und in den Suchergebnissen höher angezeigt wird.
Schritte beim Crawlen im Web:
- Die Spinne findet eine Site und beginnt, ihre Seiten zu durchsuchen.
- Die Spinne indiziert die Wörter und Inhalte der Website.
- Die Spinne besucht die auf der Website gefundenen Links.
Spinnen oder Webcrawler sind nur Programme und folgen als solche systematischen Regeln, die von den Programmierern festgelegt wurden. Inhaber von Websites können sich auch darauf einlassen, indem sie der Spinne mitteilen, welche Teile der Website indiziert werden sollen und welche nicht. Dazu wird eine "robots.txt" -Datei erstellt, die Anweisungen für die Spinne enthält, welche Teile indiziert und welchen Links gefolgt werden sollen und welche ignoriert werden sollen. Die wichtigsten Spinnen sind die von großen Suchmaschinen wie Google, Bing und Yahoo, die für Data Mining und Forschung bestimmt sind, aber es gibt auch einige böswillige Spinnen, die geschrieben wurden, um E-Mails zu finden und zu sammeln, die der Benutzer an Unternehmen verkaufen kann oder um Sicherheitslücken in der Websicherheit zu finden.
