BERT

BERT (Bidirectional Encoder Representations from Transformers) ist ein NLP-Modell von Google (2018), das auf der Transformer-Architektur basiert. Im Gegensatz zu früheren Modellen analysiert BERT Text bidirektional – es berücksichtigt gleichzeitig den Kontext vor und nach einem Wort.

Training: BERT nutzt Masked Language Model (MLM) – einige Wörter im Text werden maskiert, das Modell versucht sie anhand des Kontexts zu erraten – sowie Next Sentence Prediction (NSP). Nach dem Pretraining wird BERT durch Fine-Tuning für spezifische Aufgaben angepasst.

Anwendungen: Suchmaschinen (Google nutzt BERT für Suchanfragen), Frage-Antwort-Systeme, Textklassifikation (Spam-Filter, Sentiment-Analyse), maschinelle Übersetzung, Rechts- und Finanzanalyse. Weiterentwicklungen: RoBERTa, DistilBERT, ALBERT.