Basis van machine learning
Zij p de kans die een model aan de juiste klasse toekent. Welke beschrijving van het kruisentropieverlies −log p, dat wordt gebruikt om classificatiemodellen te trainen, is juist?
- AHoe dichter p bij 1 ligt, hoe dichter het verlies bij 0 ligt, en als p naar 0 gaat, neemt het verlies sterk toe
- BOngeacht de waarde van p is het verlies evenredig met het kwadraat van het verschil tussen het juiste antwoord en de voorspelling
- CHet verlies is het grootst als p 0,5 is en wordt kleiner naarmate p dichter bij 0 of 1 komt
Antwoord en toelichting tonen
Antwoord: A. Hoe dichter p bij 1 ligt, hoe dichter het verlies bij 0 ligt, en als p naar 0 gaat, neemt het verlies sterk toe
Het kruisentropieverlies is −log 1 = 0 als de kans p die aan de juiste klasse is toegekend 1 is; het wordt groter naarmate p kleiner wordt, en groeit onbegrensd als p naar 0 gaat. Met de natuurlijke logaritme is het ongeveer 0,69 bij p = 0,5 en ongeveer 2,3 bij p = 0,1. Omdat het zelfverzekerde foute voorspellingen zwaar bestraft, wordt het veel gebruikt voor classificatiemodellen die kansen uitvoeren via de softmax- of sigmoïdefunctie. De gemiddelde kwadratische fout, die gekwadrateerde fouten gebruikt, dient vooral voor regressie, die continue waarden voorspelt.