Français
Menu

Pile matérielle et logicielle de l'IA

Quel ordre de la pile logicielle d'IA, de la couche la plus proche de l'utilisateur à la plus proche du matériel, est correct ?

  1. AFramework (PyTorch, etc.) → compilateur et environnement d'exécution → bibliothèque de calcul (cuBLAS, etc.) → pilote → matériel
  2. BMatériel → framework → pilote → bibliothèque
  3. CPilote → framework → matériel → compilateur
Afficher la réponse et l'explication

Réponse : A. Framework (PyTorch, etc.) → compilateur et environnement d'exécution → bibliothèque de calcul (cuBLAS, etc.) → pilote → matériel

L'utilisateur écrit le modèle dans un framework comme PyTorch. Le framework ou le compilateur et l'environnement d'exécution d'IA optimisent le graphe de calcul, et les produits matriciels, convolutions, etc. appellent les noyaux de bibliothèques de calcul hautement optimisées. Les bibliothèques transmettent les commandes au GPU ou au NPU par l'intermédiaire du pilote. Pour qu'un nouveau matériel se diffuse largement, les performances des unités de calcul ne suffisent pas : cet empilement logiciel doit être complet.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Quelle différence entre « entraînement » et « inférence » d'un réseau de neurones est correcte ?
  2. Laquelle des propositions suivantes n'explique pas pourquoi la mémoire nécessaire à l'entraînement est bien plus grande que pour l'inférence du même modèle ?
  3. Un modèle de 7 milliards de paramètres (7B) est entraîné en conservant poids, gradients et les deux états d'Adam en FP32 (4 octets). Quelle valeur est la plus proche de la mémoire nécessaire, activations exclues ?
  4. Si les poids d'un modèle de 7 milliards de paramètres (7B) sont stockés en FP16 (2 octets), quelle est approximativement la mémoire des poids ?
  5. Si le modèle 7B de la question précédente est quantifié de FP16 (environ 14 GB) en entiers 4 bits (INT4), quelle devient approximativement la mémoire des poids ?