Gradient Descent (Gradientenabstieg)

Gradient Descent (Gradientenabstieg) ist ein Optimierungsverfahren, das KI-Modelle dabei unterstützt, ihre Fehler schrittweise zu reduzieren. Analog zum Wandern bergab zu einem Tal sucht der Algorithmus den „tiefsten Punkt" einer mathematischen Fehlerfläche, wo der Modellfehler minimal ist.

Funktionsweise: Ziel setzen (Fehler messen via Loss Function) → Gradient berechnen (Richtung der größten Verbesserung) → kleinen Schritt in diese Richtung gehen → Wiederholen bis Konvergenz. Wichtige Varianten: Stochastic Gradient Descent (SGD), Mini-Batch GD, Adam-Optimizer.

Bedeutung: Gradient Descent ist der Kern des Trainings fast aller modernen KI-Modelle. Die Lernrate (Schrittgröße) ist ein kritischer Hyperparameter – zu groß kann zu Instabilität führen, zu klein zu sehr langsamem Training.