Fehlermatrix
Die Fehlermatrix ordnet jede Vorhersage eines Modells in eines von vier Feldern ein: richtig positiv (Fall erkannt), richtig negativ (Nicht-Fall korrekt durchgelassen), falsch positiv (Fehlalarm) und falsch negativ (Fall übersehen). Die Diagonale enthält die Treffer, die übrigen Felder die Fehler.
Der Nutzen liegt darin, dass sie nicht nur eine Gesamtnote liefert, sondern die Fehlerart sichtbar macht. Das ist wichtig, weil Fehler unterschiedlich schwer wiegen: Beim Spam-Filter ist ein Fehlalarm teurer, bei der medizinischen Vorsorge das Übersehen.
Aus der Fehlermatrix werden die gängigen Kennzahlen der Modellgüte berechnet: Accuracy (Genauigkeit), Precision, Recall und der F-Score. Der Begriff „Fehlermatrix“ ist etwas irreführend, weil die Tabelle auch die richtigen Treffer zeigt; in der Literatur heißt sie ebenso Konfusionsmatrix oder Wahrheitsmatrix.
Beispiel
Ein Spam-Filter prüft 100 E-Mails: 40 Spam-Mails erkennt er, 10 übersieht er, 5 echte Mails stuft er fälschlich als Spam ein und 45 lässt er korrekt durch.