Français
Menu

Qu'est-ce que Réseau de neurones récurrent (RNN) ?

Réseau de neurones qui traite des données séquentielles élément par élément, dans l'ordre, en transmettant l'information accumulée à l'instant suivant sous forme d'état caché. Comme il réutilise les mêmes poids à chaque instant, il peut traiter des séquences de longueurs différentes. Sur les longues séquences, la disparition du gradient est fréquente ; on a donc conçu le LSTM et le GRU, qui contrôlent par des portes la conservation et l'oubli de l'information. Comme il doit calculer dans l'ordre chronologique et se parallélise mal, il a été remplacé par le Transformer pour de nombreux usages du traitement du langage.

Nom japonais: 再帰型ニューラルネットワーク(RNN)

« Réseau de neurones récurrent (RNN) » apparaît dans 2 questions d'entraînement réparties sur 1 thèmes, dont Bases de l'apprentissage automatique.

Domaine: Bases de l'apprentissage automatique

S'entraîner : questions sur Réseau de neurones récurrent (RNN)

Quelle description du réseau de neurones récurrent (RNN) et du LSTM est correcte ?

  1. ALe RNN applique le même filtre à chaque position d'une image pour extraire des caractéristiques locales, et le LSTM en améliore la couche de pooling pour mieux résister aux décalages de position
  2. BLe RNN traite tous les éléments d'une séquence indépendamment les uns des autres, sans utiliser le résultat de l'instant précédent, et les traite simultanément en parallèle ; l'apprentissage est donc d'autant plus rapide que la séquence est longue
  3. CLe RNN traite une séquence dans l'ordre en transmettant l'état caché de l'instant précédent à l'instant suivant, et le LSTM contrôle par des portes la conservation ou l'oubli de l'information, ce qui limite la disparition du gradient sur les longues séquences
Afficher la réponse et l'explication

Réponse : C. Le RNN traite une séquence dans l'ordre en transmettant l'état caché de l'instant précédent à l'instant suivant, et le LSTM contrôle par des portes la conservation ou l'oubli de l'information, ce qui limite la disparition du gradient sur les longues séquences

Un RNN traite des données séquentielles, comme un texte, de la parole ou les séries temporelles d'un capteur, élément par élément, en transmettant l'information accumulée à l'instant suivant sous forme d'état caché. Comme l'erreur est propagée en remontant le temps, le gradient tend à disparaître ou à exploser sur les longues séquences, et l'information d'un passé lointain s'apprend mal. Le LSTM possède une cellule qui accumule l'information et des portes d'entrée, d'oubli et de sortie, qui lui permettent de conserver longtemps l'information utile. Mais tous deux doivent calculer dans l'ordre chronologique et se parallélisent mal ; c'est ce point qu'a amélioré le Transformer.

« Réseau de neurones récurrent (RNN) » dans les explications

Questions mentionnant « Réseau de neurones récurrent (RNN) » (2)

  1. Quelle description du réseau de neurones récurrent (RNN) et du LSTM est correcte ?
  2. Quelle description de l'auto-attention (self-attention), utilisée dans le Transformer, est correcte ?

Termes associés

Attention Algorithme des k-moyennes (k-means) Analyse en composantes principales (ACP) Apprentissage non supervisé Apprentissage par renforcement Apprentissage par transfert (transfer learning) Apprentissage supervisé Descente de gradient (gradient descent) Fonction d'activation Matrice de confusion

Retour au glossaire