Français
Menu

Programmation GPU

Quelle est la caractéristique des Tensor Cores (unités de calcul matriciel) des GPU récents ?

  1. AIls calculent en une seule instruction la multiplication-accumulation de petites matrices, accélérant fortement les calculs d'IA, surtout en faible précision
  2. BCe sont des capteurs mesurant une grandeur physique appelée tenseur
  3. CCe sont des circuits dédiés au rendu des ombres graphiques
Afficher la réponse et l'explication

Réponse : A. Ils calculent en une seule instruction la multiplication-accumulation de petites matrices, accélérant fortement les calculs d'IA, surtout en faible précision

Les Tensor Cores sont des unités de calcul effectuant en une seule instruction la multiplication et l'addition de petites matrices, par exemple 4×4 ou 16×16. À surface et énergie égales, ils réalisent plusieurs fois plus de calculs que des unités ordinaires effectuant multiplications et additions une à une. Utilisés le plus souvent en faible précision (FP16, BF16, FP8, INT8, etc.), ils accélèrent fortement les produits de matrices qui représentent l'essentiel de l'entraînement et de l'inférence des réseaux de neurones.

S'entraîner sur ce thème Retour au thème

Autres questions sur Programmation GPU

  1. En calcul en précision mixte sur GPU, pourquoi effectue-t-on souvent les multiplications en faible précision (FP16, etc.) et l'accumulation en FP32 ?
  2. La somme en virgule flottante des mêmes données calculée sur GPU diffère légèrement au dernier chiffre d'une exécution à l'autre. Quelle est la cause la plus probable ?
  3. Quelle règle générale guide le choix du nombre de threads par bloc en CUDA ?
  4. Quel est l'avantage d'écrire un noyau avec une boucle comme ci-dessus (boucle à pas de grille, grid-stride loop) ?
  5. Pour quel type d'accès la mémoire constante de CUDA est-elle particulièrement rapide ?

Comparatifs sur ce thème