Pre-training (Vortraining)

Pre-training ist der erste Schritt im Training moderner KI-Modelle: Das Modell lernt allgemeine Muster und Strukturen aus großen, unbeschrifteten Datensätzen (z. B. Wikipedia, Bücher, Nachrichtenartikel). Anschließend kann es durch Fine-Tuning auf spezifische Aufgaben spezialisiert werden.

Techniken: Masked Language Modeling (MLM, für BERT), Auto-regressive Modellierung (nächstes Wort vorhersagen, für GPT), Next Sentence Prediction (NSP), Denoising Autoencoder. Selbstüberwachtes Lernen: das Modell generiert seine eigenen Trainingsaufgaben aus ungelabelten Daten.

Vorteile: Effizienz (ein Grundmodell für viele Aufgaben), weniger Label-Bedarf, verbesserte Leistung durch breites Vorwissen. Pre-training ist die Grundlage für Foundation Models und hat die KI-Forschung und -Praxis fundamental verändert.