Français
Menu

Pile matérielle et logicielle de l'IA

Quelle définition de la « parcimonie structurée 2:4 » prise en charge par les unités de calcul matriciel des GPU est correcte ?

  1. AUne parcimonie à motif fixe où les poids sont groupés par quatre et deux de chaque groupe sont nuls, permettant aux unités matricielles de sauter les zéros et de calculer jusqu'à environ deux fois plus vite
  2. BDeux poids sur quatre sont choisis aléatoirement à chaque calcul
  3. CLa matrice est découpée en blocs de 2 lignes et 4 colonnes
Afficher la réponse et l'explication

Réponse : A. Une parcimonie à motif fixe où les poids sont groupés par quatre et deux de chaque groupe sont nuls, permettant aux unités matricielles de sauter les zéros et de calculer jusqu'à environ deux fois plus vite

En parcimonie 2:4, l'entraînement ou l'ajustement garantit que deux des quatre poids consécutifs sont toujours nuls. Seules les deux valeurs non nulles et une petite information indiquant leur position doivent être stockées, ce qui réduit la mémoire, et l'unité matricielle saute les multiplications par zéro pour calculer environ deux fois plus vite. Le motif fixe a permis une accélération matérielle difficile à obtenir avec une parcimonie dispersée.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle définition de la distillation des connaissances (knowledge distillation) est correcte ?
  2. Quelle définition du parallélisme de données pour l'entraînement sur plusieurs GPU est correcte ?
  3. Quelle définition du parallélisme de tenseur, qui répartit sur plusieurs GPU le produit matriciel d'une grande couche ne tenant pas dans la mémoire d'un seul GPU, est correcte ?
  4. En parallélisme de pipeline, où les couches du modèle sont réparties successivement sur plusieurs GPU, pourquoi découpe-t-on le lot en petits micro-lots ?
  5. Quel est le rôle de la communication all-reduce utilisée en entraînement distribué ?