Inhaltsverzeichnis:
Definition - Was bedeutet Spinnenfalle?
Eine Spinnenfalle ist eine Online-Funktion, die einen Webcrawler oder Bot in einer Endlosschleife oder einer anderen rekursiven Situation einfängt, die seine Ressourcen beansprucht und diesen Crawler im Wesentlichen für eine bestimmte Reihe von Iterationen bindet.
Eine Spinnenfalle wird auch als Crawlerfalle bezeichnet.
Techopedia erklärt Spinnenfalle
Einige Spinnenfallen sollen absichtlich die Aufmerksamkeit von Web-Crawlern ablenken. Beispielsweise kann jemand eine tiefe Verzeichnisstruktur so programmieren, dass der Webcrawler in diese Struktur herunterkriecht, anstatt in andere Bereiche einer Site oder eines Online-Bereichs zu wechseln. Programmierer können auch den lexikalischen Analysator des Crawlers überlasten oder eine Sitzung mit Cookies laden, um die Ressourcen von Spambots oder anderen Crawlern zu erschöpfen.
Andere Spinnenfallen werden unbeabsichtigt durch Programmierfehler erzeugt. Einige Arten von Kalenderreferenzen können scheinbar Endlosschleifen verursachen und schlecht gemachte Crawler zum Absturz bringen.
Die Verwendung von Spinnenfallen und anderen Konstruktionen zur Abwehr von Roboterbahn-Crawlern wird sich mit dem Aufkommen neuer Prinzipien für maschinelles Lernen und künstliche Intelligenz ändern. Da Designer bewiesen haben, dass sie jetzt Web-Crawler erstellen können, die auf On-Page-Befehle genauso reagieren können wie Menschen, sind Ressourcen wie CAPTCHA für Roboterbenutzer nicht mehr effektiv. Spinnenfallen und Crawlerfallen werden dies wahrscheinlich auch nicht tun, da die Parteien, die die Crawler oder Bots verwenden, sie mit der Fähigkeit ausstatten werden, diese Fallen zu erkennen und zu vermeiden.
