Français
Menu

Pile matérielle et logicielle de l'IA

Pour un grand modèle de langage de N paramètres, quel est l'ordre de grandeur du nombre d'opérations nécessaires à l'inférence d'un jeton (hors attention) ?

  1. AEnviron 2N
  2. BEnviron 6N
  3. CEnviron N²
Afficher la réponse et l'explication

Réponse : A. Environ 2N

La propagation avant de l'inférence effectue, pour chaque poids, une multiplication avec l'entrée et une accumulation, soit environ 2N opérations par jeton. Pour 7 milliards de paramètres, environ 14 milliards par jeton. C'est peu pour un GPU actuel, mais le décodage doit lire pendant ce temps 14 GB de poids ; c'est donc la bande passante mémoire, et non le calcul, qui détermine le temps.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Lors du calcul de la fonction softmax exp(xi)/Σexp(xj), pourquoi soustrait-on souvent le maximum de chaque xi avant le calcul ?
  2. Quel est le principe du « décodage spéculatif », qui accélère l'inférence des grands modèles de langage ?
  3. Pourquoi la consultation de grandes tables d'embeddings, utilisées notamment dans les modèles de systèmes de recommandation, est-elle difficile à traiter pour le matériel d'IA ?
  4. Quel ordre de la pile logicielle d'IA, de la couche la plus proche de l'utilisateur à la plus proche du matériel, est correct ?
  5. Quelle différence entre « entraînement » et « inférence » d'un réseau de neurones est correcte ?