Parameter (Modellparameter)

Parameter sind die Zahlenwerte im Inneren eines neuronalen Netzes, die beim Training eingestellt werden. Sie legen fest, wie das Modell aus einer Eingabe eine Ausgabe berechnet. Gewichte sind der größte Teil davon.

Die Anzahl der Parameter gilt als Maß für die Größe eines Modells. Mehr Parameter bedeuten meist mehr gespeichertes Wissen, aber auch mehr Speicherbedarf und höhere Kosten pro Antwort. Spitzenmodelle haben heute 1 Billion Parameter und mehr.

Abgrenzung: Hyperparameter werden nicht gelernt, sondern vor dem Training von Menschen festgelegt. Bei einem Expertengemisch (Mixture of Experts) arbeitet pro Wortteil nur ein kleiner Teil der Parameter. Deshalb nennen Anbieter oft 2 Zahlen: Parameter gesamt und Parameter aktiv.