Français
Menu

Pile matérielle et logicielle de l'IA

Si les poids d'un modèle de 7 milliards de paramètres (7B) sont stockés en FP16 (2 octets), quelle est approximativement la mémoire des poids ?

  1. AEnviron 14 GB
  2. BEnviron 7 GB
  3. CEnviron 28 GB
Afficher la réponse et l'explication

Réponse : A. Environ 14 GB

La mémoire des poids se calcule par nombre de paramètres × nombre d'octets par paramètre : 7 milliards × 2 octets = 14 milliards d'octets, soit environ 14 GB. L'inférence demande en outre de la mémoire pour les résultats intermédiaires et, pour les grands modèles de langage, pour le cache KV. Ce calcul donne une première estimation des appareils ou GPU capables d'exécuter le modèle.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. Si le modèle 7B de la question précédente est quantifié de FP16 (environ 14 GB) en entiers 4 bits (INT4), quelle devient approximativement la mémoire des poids ?
  2. Quel est approximativement le nombre d'opérations en virgule flottante (multiplications et additions comptées séparément) du produit d'une matrice M×K par une matrice K×N ?
  3. Pour le produit de deux matrices N×N en FP16 (2 octets), en supposant que chaque entrée est lue une fois et le résultat écrit une fois, quelle est approximativement l'intensité arithmétique (opérations par octet) ?
  4. Sur un accélérateur de 100 TFLOPS en crête et 2 TB/s de bande passante mémoire, on exécute un traitement d'intensité arithmétique 10 FLOP/octet. Quelles performances atteignables estime le modèle Roofline ?
  5. Avec une seule entrée (taille de lot 1), pourquoi le calcul d'une couche entièrement connectée (produit matrice de poids-vecteur) tend-il à être limité par la mémoire ?

Comparatifs sur ce thème