Mixture of Experts (Expertengemisch)

Mixture of Experts (MoE) ist ein KI-Ansatz, bei dem mehrere spezialisierte Modelle (Experten) zusammenarbeiten. Ein Gating-Mechanismus entscheidet dynamisch, welcher Experte für eine bestimmte Eingabe zuständig ist. Jeder Experte ist ein eigenständiges neuronales Netzwerk mit spezifischem Fokus.

Mathematik: Ausgabe $y = \sum g_i(x) \cdot f_i(x)$, wobei $g_i$ das Gating-Gewicht und $f_i$ die Ausgabe von Experte $i$ ist. Vorteile: Spezialisierung erhöht Gesamtleistung, Effizienz (nur relevante Experten aktiviert), Flexibilität (neue Experten können hinzugefügt werden), Robustheit.

Prominentes Beispiel: Mixtral von Mistral AI nutzt MoE. Herausforderungen: komplexere Architektur, Datenaufteilung zwischen Experten, höherer Koordinationsaufwand. MoE wird zunehmend in Frontier-Modellen eingesetzt, um skalierbare KI-Systeme zu bauen.