Sei p die Wahrscheinlichkeit, die ein Modell für die richtige Klasse ausgibt. Welche Beschreibung des beim Training von Klassifikatoren verwendeten Kreuzentropie-Verlusts −log p trifft zu?

Antwort: A. Je näher p an 1 liegt, desto näher liegt der Verlust an 0, und wenn p gegen 0 geht, steigt der Verlust steil an

Der Kreuzentropie-Verlust beträgt −log 1 = 0, wenn die der richtigen Klasse zugewiesene Wahrscheinlichkeit p gleich 1 ist; er wächst, je kleiner p wird, und wächst unbegrenzt, wenn p gegen 0 geht. Mit dem natürlichen Logarithmus beträgt er etwa 0,69 bei p = 0,5 und etwa 2,3 bei p = 0,1. Da er selbstsichere Fehlvorhersagen stark bestraft, wird er häufig für Klassifikationsmodelle verwendet, die Wahrscheinlichkeiten über die Softmax- oder Sigmoidfunktion ausgeben. Der mittlere quadratische Fehler, der quadrierte Fehler verwendet, dient hauptsächlich der Regression, die kontinuierliche Werte vorhersagt.