Q:
Wie können Ingenieure Trainingssätze und Testsätze auswerten, um mögliche Überanpassungen beim maschinellen Lernen zu erkennen?
EIN:Um zu verstehen, wie dies getan wird, ist es erforderlich, ein grundlegendes Verständnis der Rollen verschiedener Datensätze in einem typischen maschinellen Lernprojekt zu haben. Das Trainingsset soll der Technologie einen Referenzrahmen geben - eine Datengrundlage, anhand derer das Programm vorhersagende und probabilistische Entscheidungen trifft. Im Test-Set testen Sie die Maschine auf Daten.
Überanpassung ist ein Syndrom des maschinellen Lernens, bei dem das Modell nicht vollständig den Daten oder dem Zweck entspricht.
| Kostenloser Download: Maschinelles Lernen und warum es wichtig ist |
Eines der übergeordneten Gebote des maschinellen Lernens ist, dass Trainingsdaten und Testdaten separate Datensätze sein sollten. Dies ist zumindest in vielen Anwendungen ein ziemlich breiter Konsens, da es einige spezifische Probleme gibt, denselben Satz zu verwenden, den Sie für das Training zum Testen eines maschinellen Lernprogramms verwendet haben.
Wenn ein maschinelles Lernprogramm einen Trainingssatz verwendet, der im Wesentlichen als Satz von Eingaben bezeichnet werden kann, wird dieser Trainingssatz abgearbeitet, um Entscheidungen über Vorhersageergebnisse zu treffen. Eine sehr grundlegende Art, darüber nachzudenken, ist, dass der Trainingssatz das "Nahrungsmittel" für den intellektuellen Computerprozess ist.
Wenn nun derselbe Satz zum Testen verwendet wird, kann das Gerät häufig hervorragende Ergebnisse liefern. Das liegt daran, dass es diese Daten schon einmal gesehen hat. In vielen Fällen besteht das Ziel des maschinellen Lernens jedoch darin, Ergebnisse über Daten zu erzielen, die zuvor noch nicht gesehen wurden. Allzweckprogramme für maschinelles Lernen werden erstellt, um mit verschiedenen Datensätzen zu arbeiten. Mit anderen Worten, das Prinzip des maschinellen Lernens ist das Entdecken, und normalerweise erhalten Sie nicht so viel davon, wenn Sie ein erstes Trainingsset für Testzwecke verwenden.
Bei der Bewertung von Trainingssätzen und Testsätzen auf mögliche Überanpassung können die Ingenieure die Ergebnisse bewerten und herausfinden, warum ein Programm bei den Vergleichsergebnissen dieser beiden Sätze möglicherweise anders abschneidet oder in einigen Fällen, wie die Maschine bei den Trainingsdaten selbst möglicherweise zu gut abschneidet .
Jason Brownlee von Machine Learning Mastery beschreibt einige dieser Probleme des maschinellen Lernens in einem Artikel aus dem Jahr 2014 gekonnt und beschreibt die Überanpassung folgendermaßen:
"Ein Modell, das aufgrund seiner Genauigkeit im Trainingsdatensatz und nicht aufgrund seiner Genauigkeit in einem unsichtbaren Testdatensatz ausgewählt wurde, weist sehr wahrscheinlich eine geringere Genauigkeit in einem unsichtbaren Testdatensatz auf", schreibt Brownlee. "Der Grund ist, dass das Modell nicht so verallgemeinert ist. Es hat sich auf die Struktur im Trainingsdatensatz spezialisiert (Kursivschrift hinzugefügt). Dies wird als Überanpassung bezeichnet und ist schleichender als Sie denken."
Laienhaft kann man sagen, dass das Programm zu starr wird, wenn man sich auf den Trainingsdatensatz spezialisiert. Dies ist eine weitere metaphorische Methode, um herauszufinden, warum ein Programm für maschinelles Lernen nicht optimal funktioniert, wenn das Trainingsset für das Test-Set verwendet wird. Es ist auch eine gute Möglichkeit, diese beiden unterschiedlichen Sets zu bewerten, da die Ergebnisse den Ingenieuren viel über die Funktionsweise des Programms zeigen. Sie möchten eine kleinere Lücke zwischen der Genauigkeit für beide Modelle. Sie möchten sicherstellen, dass das System nicht mit einem bestimmten Datensatz überlastet oder "präzisionsgeschmolzen" ist, dies jedoch allgemeiner ist und auf Befehl wachsen und sich weiterentwickeln kann.
