Soit p la probabilité que le modèle attribue à la bonne classe. Quelle affirmation décrit correctement la perte d'entropie croisée −log p utilisée pour l'apprentissage en classification ?

Réponse : A. Plus p est proche de 1, plus la perte se rapproche de 0, et quand p se rapproche de 0, la perte augmente brusquement

La perte d'entropie croisée vaut −log 1 = 0 si la probabilité p attribuée à la bonne classe est 1 ; elle augmente quand p diminue et croît sans limite quand p tend vers 0. Avec le logarithme naturel, elle vaut environ 0,69 pour p = 0,5 et environ 2,3 pour p = 0,1. Comme elle pénalise fortement les prédictions fausses faites avec assurance, elle est très utilisée pour les modèles de classification qui produisent des probabilités par une fonction softmax ou sigmoïde. L'erreur quadratique moyenne, qui utilise le carré des erreurs, sert surtout en régression, pour prédire des valeurs continues.