Qu'est-ce que Parallélisme de tenseurs ?
Méthode de distribution qui répartit la matrice des poids d'une couche sur plusieurs GPU, par lignes ou par colonnes, calcule les produits partiels puis les regroupe par communication.
Nom japonais: テンソル並列
Termes associés
All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances Élagage (pruning) Entraînement tenant compte de la quantification FlashAttention