Avec une seule entrée (taille de lot 1), pourquoi le calcul d'une couche entièrement connectée (produit matrice de poids-vecteur) tend-il à être limité par la mémoire ?

Réponse : C. Parce que chaque élément des poids lu en mémoire ne sert qu'à une seule multiplication-accumulation, d'où une intensité arithmétique très faible

Dans un produit matrice-vecteur, chaque élément de la matrice de poids est lu une fois, multiplié par un seul élément de l'entrée et accumulé. En FP16, cela fait 2 opérations pour 2 octets, soit une intensité arithmétique d'environ 1. La lecture des poids prend du temps et les unités de calcul attendent presque en permanence. Regrouper les entrées (augmenter la taille de lot) pour appliquer les mêmes poids à plusieurs entrées augmente l'intensité arithmétique.