Attention (Aufmerksamkeit)

Der Attention-Mechanismus in KI beschreibt die Fähigkeit von Systemen, ihren „Fokus“ auf die wichtigsten Teile eines Eingabedatensatzes zu richten. Jede Eingabe erhält ein Gewicht, das ihre Relevanz im Kontext bestimmt. Dies ermöglicht präzisere Analysen und effizientere Informationsverarbeitung.

Arten: Self-Attention (jedes Token beachtet andere Tokens im Satz, genutzt in Transformers), Bahdanau-Attention (frühe Form für Sequenz-zu-Sequenz-Modelle), Scaled Dot-Product Attention (in modernen Modellen), Hierarchische Attention (auf Satz- und Dokumentebene).

Attention hat NLP revolutioniert: Transformer-Modelle wie GPT und BERT basieren vollständig darauf. Es verbessert die Kontextverarbeitung, ist flexibel (für Text, Bilder, Multimodaldaten) und hat Durchbrüche in maschineller Übersetzung, Textzusammenfassung und Fragenbeantwortung ermöglicht.