Abréviation de Model FLOPs Utilization. Indicateur exprimant en % de la performance crête du matériel la performance de calcul effective déduite du nombre d'opérations requis par le modèle.
Nom japonais: MFU
« MFU » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : A. Le pourcentage des performances de crête du matériel que représentent les performances de calcul réelles, déduites du nombre d'opérations nécessaires au calcul du modèle
La MFU se calcule en déterminant, à partir du nombre de jetons traités par seconde et du nombre d'opérations nécessaires au modèle, la vitesse du calcul utile réellement effectué, puis en la divisant par les performances de crête du GPU. Elle baisse en présence d'attentes de communication, d'opérations limitées par la mémoire, de bulles de pipeline, de recalculs, etc. Indiquant dans quelle mesure le matériel est exploité, elle sert de repère pour améliorer la configuration d'entraînement et le logiciel.
La MFU se calcule en déterminant, à partir du nombre de jetons traités par seconde et du nombre d'opérations nécessaires au modèle, la vitesse du calcul utile réellement effectué, puis en la divisant par les performances de crête du GPU.
Quelle définition de la MFU (Model FLOPs Utilization), indi…GPU Pipeline All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances Élagage (pruning)