Méthode de distribution qui répartit séquentiellement les couches du modèle sur plusieurs GPU. On fait circuler des micro-lots pour réduire le temps d'attente des GPU (bulles).
Nom japonais: パイプライン並列
« Parallélisme de pipeline » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : B. Pour réduire le temps d'inactivité (bulle) des GPU en aval qui attendent le traitement des GPU en amont et faire travailler plusieurs GPU simultanément
Si le lot entier est traité d'un bloc, les GPU à partir du deuxième ne peuvent rien faire pendant que le premier calcule, faute de résultats. Avec des micro-lots, le deuxième GPU calcule le premier micro-lot pendant que le premier GPU traite le deuxième, et ainsi de suite, ce qui permet de recouvrir les traitements. Une attente (bulle) subsiste néanmoins au début et à la fin ; on prévoit donc un nombre suffisant de micro-lots.
GPU Découpe (dicing) All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances Élagage (pruning)