Calcul qui, lors de l'entraînement d'un réseau de neurones, propage l'erreur entre sortie et valeur attendue de la sortie vers l'entrée pour obtenir le gradient de chaque poids (backpropagation).
Nom japonais: 逆伝播
« Rétropropagation » apparaît dans 8 questions d'entraînement réparties sur 2 thèmes, dont Pile matérielle et logicielle de l'IA, Arithmétique des ordinateurs.
Réponse : B. La plage représentable est étroite et les petits gradients deviennent nuls
Avec seulement 5 bits d'exposant, FP16 ne représente que les valeurs positives d'environ 6 × 10⁻⁸ (dénormalisés compris) à 65504. Les gradients calculés pendant l'entraînement comportent de nombreuses valeurs très petites qui, en FP16, subissent un soupassement et deviennent nulles, ce qui bloque l'apprentissage. Le loss scaling multiplie la perte, par exemple par 1024, avant la rétropropagation afin de ramener les gradients dans la plage représentable, puis rétablit l'échelle avant la mise à jour des poids. La mantisse, de 10 bits, est plus courte que celle de FP32, et les fractions sont représentables.
Réponse : A. L'entraînement détermine les poids en répétant propagation avant, rétropropagation et mise à jour des poids ; l'inférence n'effectue que la propagation avant avec les poids fixés pour produire une réponse
L'entraînement répète sur un grand volume de données le cycle suivant : calcul successif de la sortie à partir de l'entrée (propagation avant), remontée de l'erreur par rapport à la bonne réponse de la sortie vers l'entrée pour obtenir le gradient de chaque poids (rétropropagation), puis correction progressive des poids selon ce gradient. L'inférence n'effectue que la propagation avant avec les poids déterminés à l'entraînement. La rétropropagation demande environ deux fois plus de calcul que la propagation avant et exige de conserver les résultats intermédiaires ; l'entraînement est donc bien plus lourd que l'inférence.
Le loss scaling multiplie la perte, par exemple par 1024, avant la rétropropagation afin de ramener les gradients dans la plage représentable, puis rétablit l'échelle avant la mise à jour des poids.
Lors de l'entraînement d'un réseau de neurones en FP16 (dem…L'entraînement répète sur un grand volume de données le cycle suivant : calcul successif de la sortie à partir de l'entrée (propagation avant), remontée de l'erreur par rapport à la bonne réponse de la sortie vers l'entrée pour obtenir le gradient de chaque poids (rétropropagation), puis correction progressive des poids selon ce gradient.
Quelle différence entre « entraînement » et « inférence » d…Mais l'entraînement doit conserver, couche par couche, les résultats intermédiaires de la propagation avant pour calculer les gradients en rétropropagation, ainsi qu'autant de gradients que de poids et les valeurs par poids tenues par l'optimiseur, comme Adam (deux moyennes mobiles, etc.).
Laquelle des propositions suivantes n'explique pas pourquoi…Le framework parcourt ce graphe à rebours pour calculer automatiquement les gradients de la rétropropagation, et le compilateur l'examine dans son ensemble pour optimiser fusions et réordonnancements.
Quelle définition du « graphe de calcul » utilisé dans les …Les frameworks d'entraînement privilégient la souplesse d'écriture et l'enregistrement nécessaire à la rétropropagation, ce qui est superflu pour la seule inférence.
Quelle est la principale raison pour laquelle les environne…GPU Inférence Exposant Mantisse Graphe de calcul ONNX Moteur d'inférence (runtime) NPU (unité de traitement neuronal) Parallélisme de données All-reduce