Un modèle de 7 milliards de paramètres (7B) est entraîné en conservant poids, gradients et les deux états d'Adam en FP32 (4 octets). Quelle valeur est la plus proche de la mémoire nécessaire, activations exclues ?

Réponse : B. Environ 112 GB

Par paramètre : 4 octets de poids, 4 octets de gradient et 4 octets pour chacune des moyennes mobiles du 1er et du 2e ordre d'Adam, soit 16 octets. 7 milliards × 16 octets = 112 milliards d'octets, soit environ 112 GB, auxquels s'ajoute la mémoire des activations. Cette quantité dépassant souvent la mémoire d'un seul GPU, on recourt à des techniques comme la répartition de l'état de l'optimiseur entre plusieurs GPU ou sa conservation en précision réduite.