Bases de l'apprentissage automatique

Dans un petit réseau de neurones dont les entrées sont x₁ = 1 et x₂ = 2, les deux neurones de la couche cachée valent h₁ = ReLU(x₁ + x₂ − 1) et h₂ = ReLU(x₁ − 2x₂ + 1), et la sortie vaut y = 2h₁ + 3h₂ + 1. Quelle est la valeur de y ?

A−1
B5
C7

Afficher la réponse et l'explication

Réponse : B. 5

ReLU est une fonction d'activation qui renvoie l'entrée telle quelle si elle est positive, et 0 si elle est nulle ou négative. h₁ = ReLU(1 + 2 − 1) = ReLU(2) = 2 et h₂ = ReLU(1 − 4 + 1) = ReLU(−2) = 0, donc y = 2 × 2 + 3 × 0 + 1 = 5. Ce calcul, mené couche après couche de l'entrée vers la sortie, s'appelle la propagation avant (forward pass).

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de l'apprentissage automatique

Soit p la probabilité que le modèle attribue à la bonne classe. Quelle affirmation décrit correctement la perte d'entropie croisée −log p utilisée pour l'apprentissage en classification ?
En descente de gradient, le gradient de la perte ∂L/∂w vaut 0,5 pour le poids w = 2,0, et le taux d'apprentissage vaut 0,1. Quelle est la valeur du poids après une mise à jour ?
On calcule la dérivée dy/dx de y = (2x + 1)² en x = 1 par la règle de dérivation en chaîne, en posant u = 2x + 1 et y = u². Quelle est la valeur correcte ?
Dans un réseau de neurones à nombreuses couches, quelle est la raison pour laquelle l'utilisation de la fonction sigmoïde comme fonction d'activation rend difficile l'apprentissage des couches proches de l'entrée ?
On entraîne un modèle sur 10 000 données d'apprentissage avec une taille de lot (batch size) de 50 pour les mini-lots. Combien de mises à jour des poids ont lieu en une époque ?