Français
Menu

Pile matérielle et logicielle de l'IA

Quelle définition de la MFU (Model FLOPs Utilization), indicateur d'efficacité de l'entraînement à grande échelle, est correcte ?

  1. ALe pourcentage des performances de crête du matériel que représentent les performances de calcul réelles, déduites du nombre d'opérations nécessaires au calcul du modèle
  2. BLa proportion des poids du modèle qui sont non nuls
  3. CLa proportion de la mémoire GPU utilisée
Afficher la réponse et l'explication

Réponse : A. Le pourcentage des performances de crête du matériel que représentent les performances de calcul réelles, déduites du nombre d'opérations nécessaires au calcul du modèle

La MFU se calcule en déterminant, à partir du nombre de jetons traités par seconde et du nombre d'opérations nécessaires au modèle, la vitesse du calcul utile réellement effectué, puis en la divisant par les performances de crête du GPU. Elle baisse en présence d'attentes de communication, d'opérations limitées par la mémoire, de bulles de pipeline, de recalculs, etc. Indiquant dans quelle mesure le matériel est exploité, elle sert de repère pour améliorer la configuration d'entraînement et le logiciel.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle approximation est couramment utilisée pour estimer le nombre d'opérations nécessaires à l'entraînement d'un modèle Transformer, avec N le nombre de paramètres et D le nombre de jetons d'entraînement ?
  2. Pour un grand modèle de langage de N paramètres, quel est l'ordre de grandeur du nombre d'opérations nécessaires à l'inférence d'un jeton (hors attention) ?
  3. Lors du calcul de la fonction softmax exp(xi)/Σexp(xj), pourquoi soustrait-on souvent le maximum de chaque xi avant le calcul ?
  4. Quel est le principe du « décodage spéculatif », qui accélère l'inférence des grands modèles de langage ?
  5. Pourquoi la consultation de grandes tables d'embeddings, utilisées notamment dans les modèles de systèmes de recommandation, est-elle difficile à traiter pour le matériel d'IA ?

Comparatifs sur ce thème