Gedistribueerde methode waarbij de gewichtsmatrix van één laag in rij- of kolomrichting wordt verdeeld over meerdere GPU's, die deelproducten berekenen en via communicatie combineren.
Japanse benaming: テンソル並列
“Tensorparallellisme” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. De gewichtsmatrix wordt in rij- of kolomrichting verdeeld en over de GPU's verdeeld, waarna na het berekenen van de deelproducten de resultaten via communicatie worden samengevoegd
Bij tensorparallellisme wordt de gewichtsmatrix bijvoorbeeld in kolomrichting in vier delen verdeeld en over vier GPU's gespreid, waarna elke GPU het product van dezelfde ingang met zijn eigen kolommen berekent. Aan het eind is per laag communicatie nodig om de resultaten samen te voegen of op te tellen, zodat het gewoonlijk wordt toegepast binnen GPU's in dezelfde server die met zeer snelle verbindingen zijn gekoppeld. Het wordt gecombineerd met dataparallellisme en pipelineparallellisme om enorme modellen te trainen.
Bij tensorparallellisme wordt de gewichtsmatrix bijvoorbeeld in kolomrichting in vier delen verdeeld en over vier GPU's gespreid, waarna elke GPU het product van dezelfde ingang met zijn eigen kolommen berekent.
Welke uitspraak over tensorparallellisme, waarbij het matri…GPU Dataparallellisme Pipelineparallellisme (pipeline parallelism) AI-compiler All-reduce Attention Backpropagatie Batchgrootte FlashAttention Gestructureerde sparsity