Français
Menu

Pile matérielle et logicielle de l'IA

À quoi faut-il prendre garde concernant la valeur « xx TOPS » indiquée comme performance d'un accélérateur d'IA ?

  1. AC'est souvent un maximum théorique compté en faible précision comme INT8, et la vitesse réelle sur un modèle varie fortement avec la bande passante mémoire et le taux d'utilisation des unités de calcul
  2. BSi les TOPS doublent, tout modèle s'exécute toujours deux fois plus vite
  3. CLes TOPS expriment la capacité mémoire
Afficher la réponse et l'explication

Réponse : A. C'est souvent un maximum théorique compté en faible précision comme INT8, et la vitesse réelle sur un modèle varie fortement avec la bande passante mémoire et le taux d'utilisation des unités de calcul

Les TOPS (billions d'opérations par seconde) sont une valeur théorique obtenue quand toutes les unités de calcul fonctionnent sans interruption ; ils sont souvent comptés en INT8 ou en précision inférieure, parfois avec parcimonie. Sur un modèle réel, la limitation par la bande passante mémoire, l'inactivité des unités ou l'exécution des opérations non prises en charge par d'autres circuits peuvent rendre les performances effectives bien inférieures. Pour comparer des produits, il importe d'examiner des mesures réalisées dans les mêmes conditions.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle définition de la MFU (Model FLOPs Utilization), indicateur d'efficacité de l'entraînement à grande échelle, est correcte ?
  2. Quelle approximation est couramment utilisée pour estimer le nombre d'opérations nécessaires à l'entraînement d'un modèle Transformer, avec N le nombre de paramètres et D le nombre de jetons d'entraînement ?
  3. Pour un grand modèle de langage de N paramètres, quel est l'ordre de grandeur du nombre d'opérations nécessaires à l'inférence d'un jeton (hors attention) ?
  4. Lors du calcul de la fonction softmax exp(xi)/Σexp(xj), pourquoi soustrait-on souvent le maximum de chaque xi avant le calcul ?
  5. Quel est le principe du « décodage spéculatif », qui accélère l'inférence des grands modèles de langage ?

Comparatifs sur ce thème