Was ist Precision und Recall?
Bewertungskennzahlen für Modelle zur Klassifikation mit zwei Klassen. Die Precision ist der Anteil der als positiv vorhergesagten Fälle, die tatsächlich positiv sind, TP ÷ (TP + FP), und der Recall ist der Anteil der tatsächlich positiven Fälle, die als positiv vorhergesagt wurden, TP ÷ (TP + FN). Allgemein steigt beim Verschieben des Entscheidungsschwellenwerts die eine, während die andere sinkt. Ihr harmonisches Mittel, 2PR ÷ (P + R), heißt F1-Score (F-Maß).
Japanische Bezeichnung: 適合率と再現率
„Precision und Recall“ kommt in 4 Übungsfragen aus 1 Themen vor, z. B. Grundlagen des maschinellen Lernens.
Fachgebiet: Grundlagen des maschinellen Lernens
Rechenbeispiel
Angenommen, es gibt 100 tatsächlich positive Fälle, das Modell stuft 40 Fälle als positiv ein, und 30 davon sind wirklich positiv. Die Precision beträgt 30 ÷ 40 = 0,75 und der Recall 30 ÷ 100 = 0,3. Der F1-Score beträgt 2 × 0,75 × 0,3 ÷ (0,75 + 0,3) ≈ 0,43 und liegt damit unter dem arithmetischen Mittel von etwa 0,53. Als harmonisches Mittel wird er zum kleineren Wert hingezogen; ein Modell, das nur bei einer der beiden Kennzahlen gut ist, wird vom F1-Score daher nicht hoch bewertet.
Zielkonflikt mit dem Schwellenwert
Viele Klassifikationsmodelle geben einen Score dafür aus, wie wahrscheinlich ein Fall positiv ist, und stufen ihn als positiv ein, wenn der Score einen Schwellenwert überschreitet. Ein höherer Schwellenwert stuft nur sichere Fälle als positiv ein; die Precision steigt daher tendenziell, während mehr positive Fälle übersehen werden und der Recall sinkt. Ein niedrigerer Schwellenwert bewirkt das Gegenteil. Die Kurve der Precision über dem Recall beim Verschieben des Schwellenwerts heißt PR-Kurve; sie wird neben der ROC-Kurve, die die Richtig-Positiv-Rate über der Falsch-Positiv-Rate aufträgt, zum Vergleich von Modellen verwendet.
Welche Kennzahl Vorrang hat
Bei der Untersuchung auf Krankheiten und bei der Erkennung fehlerhafter Teile, wo ein übersehener Fall teuer ist, hat der Recall Vorrang. Ist es teuer, etwas fälschlich als positiv einzustufen, etwa bei einem Spamfilter, der eine wichtige E-Mail in Quarantäne verschieben könnte, hat die Precision Vorrang. Je nach Zweck wird auch der Fβ-Score verwendet, der beide unterschiedlich gewichtet. Bei unausgewogenen Daten mit sehr wenigen positiven Fällen beschreiben diese Kennzahlen die Leistung besser als die Accuracy.
Häufige Fragen
Worin unterscheiden sie sich von der Accuracy?
Die Accuracy ist der Anteil aller Vorhersagen, die richtig sind: (TP + TN) ÷ Gesamtzahl. Bei Daten, in denen nur 1 % der Fälle positiv ist, erreicht ein Modell, das alles als negativ vorhersagt, bereits 99 % Accuracy; sein Recall ist jedoch 0, was zeigt, dass es überhaupt keine positiven Fälle findet.
Bedeuten „Genauigkeit“ und „Precision“ dasselbe?
Nicht unbedingt. Im Deutschen wird „Genauigkeit“ sowohl für die Accuracy (den Anteil aller richtigen Vorhersagen) als auch für die Precision (den Anteil der richtigen unter den positiven Vorhersagen) verwendet, daher ist Vorsicht geboten. Um Missverständnisse zu vermeiden, nennt man die beiden Kennzahlen bei der Klassifikation am besten mit ihren eindeutigen Namen, Accuracy (Korrektklassifikationsrate) und Precision (Präzision). In der Messtechnik bezeichnet „Präzision“ wiederum etwas anderes, nämlich wie gut wiederholte Messungen übereinstimmen.