Quantisierung

Bei der Quantisierung werden die Parameter eines Modells mit geringerer Genauigkeit gespeichert, zum Beispiel mit 4 statt 16 Bit pro Zahl. Der Speicherbedarf sinkt dadurch auf etwa ein Viertel.

Das ist der Grund, warum große Modelle mit offenen Gewichten auch auf einem Laptop oder einem einzelnen Server laufen. Für das Training ist Quantisierung nicht nötig. Sie wird meist nachträglich auf ein fertiges Modell angewendet.

Der Preis: Mit jeder Stufe weniger Genauigkeit kann die Qualität der Antworten etwas sinken. Wie stark, hängt vom Modell und vom Verfahren ab und sollte an eigenen Aufgaben getestet werden.