Pile matérielle et logicielle de l'IA

Quelle est la principale raison pour laquelle les réseaux de neurones à impulsions (SNN), les modèles exécutés en calcul neuromorphique, sont difficiles à entraîner directement par la rétropropagation utilisée pour les réseaux de neurones ordinaires ?

  1. ALes SNN n'ont pas de poids
  2. BL'émission d'une impulsion est une opération discontinue, décidée par le franchissement ou non d'un seuil, et n'est donc pas dérivable
  3. CLes SNN ne peuvent faire que de l'inférence et ignorent la notion d'entraînement
Afficher la réponse et l'explication

Réponse : B. L'émission d'une impulsion est une opération discontinue, décidée par le franchissement ou non d'un seuil, et n'est donc pas dérivable

Chaque neurone d'un SNN accumule les impulsions reçues sous forme de potentiel de membrane et émet une impulsion lorsqu'il franchit un seuil. Comme cette sortie passe de façon discontinue de 0 à 1, le gradient dont la rétropropagation a besoin est nul presque partout ou n'est pas défini. On étudie donc l'utilisation, pendant l'entraînement seulement, de gradients qui approchent la fonction d'impulsion par une fonction lisse, ou l'entraînement d'un réseau classique ensuite converti en SNN. La mise au point de méthodes d'entraînement est l'un des défis du calcul neuromorphique.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle différence entre « entraînement » et « inférence » d'un réseau de neurones est correcte ?
  2. Laquelle des propositions suivantes n'explique pas pourquoi la mémoire nécessaire à l'entraînement est bien plus grande que pour l'inférence du même modèle ?
  3. Un modèle de 7 milliards de paramètres (7B) est entraîné en conservant poids, gradients et les deux états d'Adam en FP32 (4 octets). Quelle valeur est la plus proche de la mémoire nécessaire, activations exclues ?
  4. Si les poids d'un modèle de 7 milliards de paramètres (7B) sont stockés en FP16 (2 octets), quelle est approximativement la mémoire des poids ?
  5. Si le modèle 7B de la question précédente est quantifié de FP16 (environ 14 GB) en entiers 4 bits (INT4), quelle devient approximativement la mémoire des poids ?

Comparatifs sur ce thème