Double Descent (Doppelter Abstieg)

Double Descent beschreibt ein Paradoxon im maschinellen Lernen: Die Modellleistung verbessert sich zunächst mit steigender Komplexität, verschlechtert sich dann (klassisches Bias-Varianz-Dilemma) und verbessert sich bei noch höherer Komplexität wieder. Das Phänomen ähnelt einer doppelten Kurve mit zwei Minima.

Ursachen: Bias-Varianz-Dilemma, Interpolationseffekte (Modell passt sich zu stark an Trainingsdaten an), unausgewogene Datensätze. Besonders häufig wenn Modellparameter die Anzahl der Trainingsbeispiele übersteigen.

Praktische Relevanz: Double Descent erschwert die KI-Entwicklung, da intuitive Annahmen (mehr Daten = besser) nicht immer gelten. Lösungsansätze: Regularisierung, geeignete Datenmengen, Early Stopping.