Si le modèle 7B de la question précédente est quantifié de FP16 (environ 14 GB) en entiers 4 bits (INT4), quelle devient approximativement la mémoire des poids ?

Réponse : C. Environ 3,5 GB

Chaque paramètre passant de 16 à 4 bits, la mémoire est divisée par quatre, soit environ 3,5 GB (en pratique, de petites informations comme les échelles de quantification s'y ajoutent). La réduction de mémoire permet d'exécuter de grands modèles sur PC et smartphone, et la diminution du volume lu en mémoire accélère aussi l'inférence. Les techniques limitant la perte de précision deviennent essentielles.