Français
Menu

Bases de l'apprentissage automatique

Dans une classification à 3 classes, les valeurs fournies à la fonction softmax (logits) sont 3, 1 et 0. La sortie (probabilité) de la première classe vaut environ combien de fois celle de la deuxième ? Choisir la valeur la plus proche.

  1. A2 fois
  2. B3 fois
  3. C7,4 fois
Afficher la réponse et l'explication

Réponse : C. 7,4 fois

La fonction softmax transforme chaque valeur zᵢ en exp(zᵢ) ÷ Σexp(zⱼ), ce qui donne des probabilités de somme 1. Le dénominateur étant le même pour toutes les classes, le rapport des sorties de deux classes vaut exp(3) ÷ exp(1) = e² ≈ 7,4. Le rapport des sorties ne dépend donc que de l'écart entre les logits : un écart de 2 multiplie la probabilité par environ 7,4. Ajouter le même nombre à tous les logits ne change pas les sorties.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de l'apprentissage automatique

  1. Dans un petit réseau de neurones dont les entrées sont x₁ = 1 et x₂ = 2, les deux neurones de la couche cachée valent h₁ = ReLU(x₁ + x₂ − 1) et h₂ = ReLU(x₁ − 2x₂ + 1), et la sortie vaut y = 2h₁ + 3h₂ + 1. Quelle est la valeur de y ?
  2. Soit p la probabilité que le modèle attribue à la bonne classe. Quelle affirmation décrit correctement la perte d'entropie croisée −log p utilisée pour l'apprentissage en classification ?
  3. En descente de gradient, le gradient de la perte ∂L/∂w vaut 0,5 pour le poids w = 2,0, et le taux d'apprentissage vaut 0,1. Quelle est la valeur du poids après une mise à jour ?
  4. On calcule la dérivée dy/dx de y = (2x + 1)² en x = 1 par la règle de dérivation en chaîne, en posant u = 2x + 1 et y = u². Quelle est la valeur correcte ?
  5. Dans un réseau de neurones à nombreuses couches, quelle est la raison pour laquelle l'utilisation de la fonction sigmoïde comme fonction d'activation rend difficile l'apprentissage des couches proches de l'entrée ?