Inhaltsverzeichnis:
Definition - Was bedeutet Ausreißererkennung?
Ausreißererkennung ist der Prozess des Erkennens und anschließenden Ausschlusses von Ausreißern aus einem bestimmten Datensatz.
Ein Ausreißer kann als ein Teil der Daten oder Beobachtungen definiert werden, der drastisch von der vorgegebenen Norm oder dem Durchschnitt des Datensatzes abweicht. Ein Ausreißer kann einfach durch Zufall verursacht werden, er kann jedoch auch auf einen Messfehler hinweisen oder darauf, dass der angegebene Datensatz eine schwerwiegende Verteilung aufweist.
Hier ist ein einfaches Szenario für die Erkennung von Ausreißern: Ein Messvorgang erzeugt konsistent Anzeigen zwischen 1 und 10, aber in einigen seltenen Fällen erhalten wir Messungen von mehr als 20.
Diese seltenen Messungen außerhalb der Norm werden als Ausreißer bezeichnet, da sie außerhalb der Normalverteilungskurve liegen.
Techopedia erklärt die Erkennung von Ausreißern
Es gibt wirklich keine standardisierte und starre mathematische Methode zur Bestimmung eines Ausreißers, da sie in Abhängigkeit von der Menge oder der Datenpopulation wirklich variiert, sodass ihre Bestimmung und Erkennung letztendlich subjektiv wird. Durch kontinuierliche Probenahme in einem bestimmten Datenfeld können Merkmale eines Ausreißers ermittelt werden, um die Erkennung zu erleichtern.
Es gibt modellbasierte Methoden zum Erkennen von Ausreißern, bei denen davon ausgegangen wird, dass alle Daten einer Normalverteilung entnommen wurden, und dass Beobachtungen oder Punkte als Ausreißer identifiziert werden, die aufgrund des Mittelwerts oder der Standardabweichung als unwahrscheinlich erachtet werden. Es gibt verschiedene Methoden zur Erkennung von Ausreißern:
- Grubbs Test für Ausreißer - Dies basiert auf der Annahme, dass die Daten normalverteilt sind, und entfernt jeweils einen Ausreißer, wobei der Test wiederholt wird, bis keine Ausreißer mehr gefunden werden können.
- Dixons Q-Test - Auch basierend auf der Normalität des Datensatzes testet diese Methode auf fehlerhafte Daten. Es wurde angemerkt, dass dies sparsam und niemals mehr als einmal in einem Datensatz verwendet werden sollte.
- Chauvenets Kriterium - Dies wird verwendet, um zu analysieren, ob der Ausreißer falsch ist oder sich noch innerhalb der Grenzen befindet und als Teil der Menge betrachtet wird. Der Mittelwert und die Standardabweichung werden genommen und die Wahrscheinlichkeit, dass der Ausreißer auftritt, wird berechnet. Die Ergebnisse bestimmen, ob es aufgenommen werden soll oder nicht.
- Pierces Kriterium - Für eine Reihe von Beobachtungen wird eine Fehlergrenze festgelegt, ab der alle Beobachtungen verworfen werden, da sie bereits einen so großen Fehler enthalten.
