Basis van machine learning
Welke beschrijving van de ROC-curve en de AUC, die worden gebruikt om modellen voor classificatie met twee klassen te evalueren, is juist?
- AEen curve die ontstaat door de beslissingsdrempel te variëren en het percentage terecht-positieven uit te zetten tegen het percentage fout-positieven; hoe dichter de oppervlakte eronder (AUC) bij 1 ligt, hoe beter het model positieven en negatieven onderscheidt
- BEen curve van de accuracy bij een vaste drempel, uitgezet tegen het aantal trainingsrondes (epochs), waarbij de AUC het maximum van die curve is en een grotere waarde snellere training betekent
- CEen model met een AUC van 0,5 onderscheidt positieven en negatieven in minstens de helft van de gevallen juist en is daarom goed genoeg voor praktisch gebruik
Antwoord en toelichting tonen
Antwoord: A. Een curve die ontstaat door de beslissingsdrempel te variëren en het percentage terecht-positieven uit te zetten tegen het percentage fout-positieven; hoe dichter de oppervlakte eronder (AUC) bij 1 ligt, hoe beter het model positieven en negatieven onderscheidt
De ROC-curve ontstaat door de drempel te verschuiven waarboven de score die het model uitvoert als positief geldt, en daarbij het percentage fout-positieven FP ÷ (FP + TN) op de horizontale as en het percentage terecht-positieven TP ÷ (TP + FN) op de verticale as uit te zetten. De AUC is de oppervlakte onder de curve; ze is gelijk aan de kans dat een willekeurig gekozen positief voorbeeld een hogere score krijgt dan een willekeurig gekozen negatief voorbeeld. Een model dat de klassen perfect scheidt, heeft een AUC van 1, een model dat willekeurig oordeelt 0,5. Met de AUC kan het onderscheidingsvermogen van modellen worden vergeleken voordat een drempel is gekozen, maar bij gegevens met zeer weinig positieven laat de PR-curve, die precisie tegen recall uitzet, verschillen soms duidelijker zien.