Transformer

Transformer sind neuronale Netzwerkmodelle, die 2017 im wegweisenden Artikel „Attention is All You Need" (Google) vorgestellt wurden. Sie verarbeiten Sequenzen (Text, Zeitreihen) durch den Self-Attention-Mechanismus, der relevante Teile der Eingabe gewichtet – unabhängig von Position.

Architektur: Encoder (verarbeitet Eingabedaten, extrahiert Informationen) und Decoder (generiert Ausgabe). Self-Attention ermöglicht Kontextverständnis über lange Textpassagen. Positionskodierungen kompensieren die fehlende Sequenzialität.

Vorteile: Parallelverarbeitung (schneller als RNNs), sehr effektiv für große Datensätze, flexibel für Text, Bilder und Audio. Transformer sind die Grundlage aller modernen LLMs (GPT, BERT, Claude, Gemini). Sie haben die gesamte KI-Landschaft fundamental verändert.