Was ist Pipeline-Parallelität?

Aufteilung der Schichten eines Modells nacheinander auf GPUs, wobei Mikro-Batches durchgeschleust werden, um die Leerlaufzeit der GPUs (die Blase) zu verkürzen.

Japanische Bezeichnung: パイプライン並列

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar