En inférence, pourquoi l'augmentation de la taille de lot (nombre d'entrées traitées ensemble) tend-elle à améliorer l'efficacité globale ?

Réponse : C. Parce que les poids lus une fois servent au calcul de plusieurs entrées, ce qui augmente l'intensité arithmétique et permet d'exploiter efficacement les unités de calcul

Avec une taille de lot B, le produit de la matrice de poids par B vecteurs devient le produit de la matrice de poids par une matrice de largeur B. La lecture des poids reste identique alors que les opérations sont multipliées par B ; l'intensité arithmétique est donc multipliée par environ B, et le traitement passe de la limitation par la mémoire à la limitation par le calcul. En inférence sur serveur, regrouper les requêtes de nombreux utilisateurs permet d'utiliser efficacement le GPU.