Wie hoch ist bei Daten aus 1000 Fällen, von denen nur 10 positiv sind, die Accuracy (der Anteil richtiger Vorhersagen) eines Modells, das jeden Fall als negativ vorhersagt?

Antwort: C. 99 %

Wird alles als negativ vorhergesagt, sind alle 990 negativen Fälle richtig und alle 10 positiven falsch, die Accuracy beträgt also 990 ÷ 1000 = 99 %. Andererseits findet das Modell keinen einzigen positiven Fall; sein Recall ist 0 %, und es ist nutzlos, wenn es darum geht, positive Fälle zu finden, etwa beim Erkennen von Krankheiten oder Betrug. Bei Daten mit stark ungleichen Klassenanteilen (unausgewogenen Daten) bewertet man Modelle daher nicht allein nach der Accuracy, sondern zusammen mit Precision, Recall, F1-Score usw. Gegenmaßnahmen sind etwa eine stärkere Gewichtung von Fehlern bei der kleineren Klasse und Sampling-Verfahren, die die Zahl der Datenpunkte je Klasse angleichen.