Regularization (Regularisierung)
Regularization ist eine Technik im maschinellen Lernen, die Overfitting verhindert, indem sie einen Strafterm zur Verlustfunktion hinzufügt. Diese Strafe kontrolliert die Größe oder Komplexität der Modellparameter und fördert einfachere, besser generalisierende Modelle.
Arten: L1-Regularization/Lasso (fördert sparsame Modelle, setzt irrelevante Gewichte auf 0, für Feature-Selektion), L2-Regularization/Ridge (bestraft große Gewichte, gleichmäßigere Verteilung), Dropout (zufälliges Deaktivieren von Neuronen), Early Stopping, Data Augmentation.
Wann einsetzen: bei kleinen Datensätzen, komplexen Modellen oder wenn der Validierungsfehler deutlich über dem Trainingsfehler liegt. Regularisierung ist eine der grundlegendsten Techniken zur Verbesserung der Generalisierungsfähigkeit von KI-Modellen.
Beispiel
Ein Data-Science-Team fügt einer Prognose eine Regularisierung hinzu, damit das Modell auch außerhalb der Trainingsdaten zuverlässig bleibt.