Wat is Precisie en recall (precision and recall)?
Evaluatiematen voor modellen voor classificatie met twee klassen. De precisie is het aandeel van de als positief voorspelde items dat werkelijk positief is, TP ÷ (TP + FP), en de recall is het aandeel van de werkelijk positieve items dat als positief is voorspeld, TP ÷ (TP + FN). Over het algemeen verhoogt het veranderen van de beslissingsdrempel de ene en verlaagt het de andere. Hun harmonisch gemiddelde, 2PR ÷ (P + R), heet de F1-score.
Japanse benaming: 適合率と再現率
“Precisie en recall (precision and recall)” komt voor in 4 oefenvragen uit 1 onderwerpen, bijv. Basis van machine learning.
Vakgebied: Basis van machine learning
Rekenvoorbeeld
Stel dat er 100 werkelijk positieve items zijn, dat het model 40 items als positief aanmerkt en dat daarvan 30 echt positief zijn. De precisie is 30 ÷ 40 = 0,75 en de recall 30 ÷ 100 = 0,3. De F1-score is 2 × 0,75 × 0,3 ÷ (0,75 + 0,3) ≈ 0,43, lager dan het rekenkundig gemiddelde van ongeveer 0,53. Het harmonisch gemiddelde wordt naar de kleinste waarde getrokken, dus een model dat maar op één van de twee goed scoort, krijgt geen hoge F1-score.
De afweging met de drempel
Veel classificatiemodellen geven een score die uitdrukt hoe waarschijnlijk een item positief is, en noemen het positief als de score een drempel overschrijdt. Een hogere drempel maakt alleen items waarover het model zeker is positief, zodat de precisie meestal stijgt, terwijl meer positieven worden gemist en de recall daalt. Een lagere drempel doet het omgekeerde. De curve van precisie tegen recall bij een verschuivende drempel heet de PR-curve, en die wordt gebruikt om modellen te vergelijken naast de ROC-curve, die het percentage terecht-positieven tegen het percentage fout-positieven uitzet.
Welke de nadruk krijgt
Bij screening op ziekten en het opsporen van defecten, waar een gemist geval duur is, krijgt de recall de nadruk. Als ten onrechte positief noemen duur is, zoals bij een spamfilter dat een belangrijke e-mail in quarantaine zou kunnen zetten, krijgt de precisie de nadruk. Afhankelijk van het doel kan ook de Fβ-score worden gebruikt, die de twee verschillend weegt. Bij onevenwichtige gegevens met zeer weinig positieven beschrijven deze maten de prestaties beter dan de accuracy.
Veelgestelde vragen
Wat is het verschil met accuracy?
Accuracy is het aandeel van alle voorspellingen dat juist is, (TP + TN) ÷ totaal. Bij gegevens waarin maar 1% van de items positief is, geeft het voorspellen van alles als negatief al een accuracy van 99%, maar de recall is 0, wat laat zien dat er helemaal geen positieven worden gevonden.
Betekenen „nauwkeurigheid” en „precisie” hetzelfde?
Niet noodzakelijk. In het Nederlands wordt „nauwkeurigheid” zowel in de zin van accuracy als in de zin van precisie gebruikt, en bij metingen heeft „precisie” nog een andere betekenis: hoe goed herhaalde metingen met elkaar overeenkomen. Bij classificatie voorkom je misverstanden door „accuracy” te gebruiken voor het aandeel van alle voorspellingen dat juist is, en „precisie” voor het aandeel van de positieve voorspellingen dat juist is.