Overfitting und Underfitting

Was bedeutet Overfitting bei Machine Learning Modellen? Und was ist Underfitting?

Sowohl Overfitting als auch Underfitting sind typische Herausforderungen, denen man sich beim Trainieren von Machine Learning Modellen stellen muss. Sie beziehen sich auf die Fähigkeit eines Modells, erlernte Zusammenhänge zu generalisieren. Ihr Vorhandensein führt zu hohen Fehlerraten der Modelle. In der Regel tritt Overfitting häufiger auf als Underfitting.

Man spricht von Overfitting(=Überanpassung), wenn ein Modell sich zu sehr an den Trainingsdaten orientiert und daher nicht in der Lage ist, „gute“ Vorhersagen für unbekannte Testdaten zu treffen. Das liegt daran, dass das Modell beim Trainieren zu viel „Rauschen“ berücksichtigt hat und die erlernten Zusammenhänge daher nicht ausreichend generalisieren kann. Overfitting führt zu einer geringen Verzerrung (=Bias) und einer hohen Varianz (=Variance).

Im Gegensatz zum Overfitting entstehen beim Underfitting die hohen Fehlerraten dadurch, dass das Modell beim Training nicht in der Lage ist, die Zusammenhänge zwischen den Inputs und Outputs der Trainingsdaten korrekt zu erfassen. Das Modell schafft es also nicht, zwischen den relevanten Zusammenhängen in den Daten auf der einen Seite und dem störenden Rauschen in den Daten auf der anderen Seite zu unterscheiden und generalisiert zu stark. Deswegen auch die „einfache“ Gerade in der Abbildung, die die Anpassung des Modells an den Trainingdatensatz zeigt. Underfitting resultiert in einer hohen Verzerrung und einer geringen Varianz.

In der Regel neigen komplexere Modelle eher zu Overfitting (rote serpentinenartige Kurve in der Abbildung), während simplere Modelle eher zu Underfitting (rote Gerade in der Abbildung) neigen. Sowohl Overfitting als auch Underfitting kann auf verschiedenen Weisen entgegengewirkt werden. Zum Beispiel kann die Komplexität eines Modells verändert oder die Menge der Trainingsdaten erhöht werden.

Ähnlich wie beim Bias-Variance-Tradeoff ist es bei Overfitting und Underfitting entscheidend, eine Balance zwischen beiden zu finden, um ein optimales Modell zu entwickeln.

Quelle (übersetzt): Towards Data Science und Medium