Pile matérielle et logicielle de l'IA

Quelle différence entre « entraînement » et « inférence » d'un réseau de neurones est correcte ?

  1. AL'entraînement détermine les poids en répétant propagation avant, rétropropagation et mise à jour des poids ; l'inférence n'effectue que la propagation avant avec les poids fixés pour produire une réponse
  2. BL'entraînement comme l'inférence n'effectuent que la propagation avant
  3. CL'inférence met à jour les poids, et l'entraînement n'utilise pas de poids
Afficher la réponse et l'explication

Réponse : A. L'entraînement détermine les poids en répétant propagation avant, rétropropagation et mise à jour des poids ; l'inférence n'effectue que la propagation avant avec les poids fixés pour produire une réponse

L'entraînement répète sur un grand volume de données le cycle suivant : calcul successif de la sortie à partir de l'entrée (propagation avant), remontée de l'erreur par rapport à la bonne réponse de la sortie vers l'entrée pour obtenir le gradient de chaque poids (rétropropagation), puis correction progressive des poids selon ce gradient. L'inférence n'effectue que la propagation avant avec les poids déterminés à l'entraînement. La rétropropagation demande environ deux fois plus de calcul que la propagation avant et exige de conserver les résultats intermédiaires ; l'entraînement est donc bien plus lourd que l'inférence.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Laquelle des propositions suivantes n'explique pas pourquoi la mémoire nécessaire à l'entraînement est bien plus grande que pour l'inférence du même modèle ?
  2. Un modèle de 7 milliards de paramètres (7B) est entraîné en conservant poids, gradients et les deux états d'Adam en FP32 (4 octets). Quelle valeur est la plus proche de la mémoire nécessaire, activations exclues ?
  3. Si les poids d'un modèle de 7 milliards de paramètres (7B) sont stockés en FP16 (2 octets), quelle est approximativement la mémoire des poids ?
  4. Si le modèle 7B de la question précédente est quantifié de FP16 (environ 14 GB) en entiers 4 bits (INT4), quelle devient approximativement la mémoire des poids ?
  5. Quel est approximativement le nombre d'opérations en virgule flottante (multiplications et additions comptées séparément) du produit d'une matrice M×K par une matrice K×N ?