Le traitement consistant à ajouter un biais au résultat d'un produit matriciel puis à appliquer une ReLU est fusionné de trois noyaux séparés en un seul. Qu'est-ce qui diminue principalement ?

Réponse : B. Le volume d'accès à la mémoire (HBM, etc.) et le nombre de lancements de noyaux

Avec des noyaux séparés, le résultat du produit matriciel est écrit en mémoire, le noyau de biais le lit puis l'écrit, et le noyau ReLU le lit et l'écrit à nouveau. Après fusion, le biais et la ReLU sont appliqués dès l'obtention du résultat du produit matriciel et seul le résultat final est écrit ; deux allers-retours de lecture-écriture du grand tenseur intermédiaire disparaissent et le coût de lancement diminue. Le volume de calcul lui-même ne change pas.