Was ist Tensorparallelität?

Aufteilung der Gewichtsmatrix einer Schicht nach Zeilen oder Spalten auf mehrere GPUs, Berechnung von Teilprodukten und Zusammenführung durch Kommunikation.

Japanische Bezeichnung: テンソル並列

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar