En parallélisme de pipeline, où les couches du modèle sont réparties successivement sur plusieurs GPU, pourquoi découpe-t-on le lot en petits micro-lots ?

Réponse : B. Pour réduire le temps d'inactivité (bulle) des GPU en aval qui attendent le traitement des GPU en amont et faire travailler plusieurs GPU simultanément

Si le lot entier est traité d'un bloc, les GPU à partir du deuxième ne peuvent rien faire pendant que le premier calcule, faute de résultats. Avec des micro-lots, le deuxième GPU calcule le premier micro-lot pendant que le premier GPU traite le deuxième, et ainsi de suite, ce qui permet de recouvrir les traitements. Une attente (bulle) subsiste néanmoins au début et à la fin ; on prévoit donc un nombre suffisant de micro-lots.