Qu'est-ce que Taille de lot (batch size) ?

Réponse : C. Parce que chaque élément des poids lu en mémoire ne sert qu'à une seule multiplication-accumulation, d'où une intensité arithmétique très faible

Dans un produit matrice-vecteur, chaque élément de la matrice de poids est lu une fois, multiplié par un seul élément de l'entrée et accumulé. En FP16, cela fait 2 opérations pour 2 octets, soit une intensité arithmétique d'environ 1. La lecture des poids prend du temps et les unités de calcul attendent presque en permanence. Regrouper les entrées (augmenter la taille de lot) pour appliquer les mêmes poids à plusieurs entrées augmente l'intensité arithmétique.

Réponse : C. Parce que les poids lus une fois servent au calcul de plusieurs entrées, ce qui augmente l'intensité arithmétique et permet d'exploiter efficacement les unités de calcul

Avec une taille de lot B, le produit de la matrice de poids par B vecteurs devient le produit de la matrice de poids par une matrice de largeur B. La lecture des poids reste identique alors que les opérations sont multipliées par B ; l'intensité arithmétique est donc multipliée par environ B, et le traitement passe de la limitation par la mémoire à la limitation par le calcul. En inférence sur serveur, regrouper les requêtes de nombreux utilisateurs permet d'utiliser efficacement le GPU.