Français
Menu

Pile matérielle et logicielle de l'IA

Quelle affirmation sur l'élagage (pruning) des réseaux de neurones est correcte ?

  1. AIl réduit les poids en mettant à 0 ceux qui sont peu importants ; l'élagage non structuré, qui les annule de façon dispersée, est difficile à accélérer matériellement
  2. BIl augmente les poids et améliore toujours la précision du modèle
  3. CIl réduit les données d'entraînement
Afficher la réponse et l'explication

Réponse : A. Il réduit les poids en mettant à 0 ceux qui sont peu importants ; l'élagage non structuré, qui les annule de façon dispersée, est difficile à accélérer matériellement

L'élagage met à 0 les poids peu influents, par exemple de faible valeur, pour réduire le calcul et la mémoire. Mais si les zéros sont dispersés, repérer leur position coûte du travail, et comme les unités de calcul matriciel et la mémoire fonctionnent par blocs, le gain réel est faible. L'élagage structuré, qui annule par canal, par couche ou selon un motif fixe, est plus facile à accélérer matériellement.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle définition de la « parcimonie structurée 2:4 » prise en charge par les unités de calcul matriciel des GPU est correcte ?
  2. Quelle définition de la distillation des connaissances (knowledge distillation) est correcte ?
  3. Quelle définition du parallélisme de données pour l'entraînement sur plusieurs GPU est correcte ?
  4. Quelle définition du parallélisme de tenseur, qui répartit sur plusieurs GPU le produit matriciel d'une grande couche ne tenant pas dans la mémoire d'un seul GPU, est correcte ?
  5. En parallélisme de pipeline, où les couches du modèle sont réparties successivement sur plusieurs GPU, pourquoi découpe-t-on le lot en petits micro-lots ?