AI-hardware en softwarestack
Welke uitspraak over tensorparallellisme, waarbij het matrixproduct van een grote laag die niet in het geheugen van één GPU past over meerdere GPU's wordt verdeeld, is juist?
- AElke GPU heeft een kopie van het hele model en de data worden verdeeld
- BDe gewichtsmatrix wordt in rij- of kolomrichting verdeeld en over de GPU's verdeeld, waarna na het berekenen van de deelproducten de resultaten via communicatie worden samengevoegd
- CElke laag wordt op een andere GPU geplaatst en achtereenvolgens verwerkt
Antwoord en toelichting tonen
Antwoord: B. De gewichtsmatrix wordt in rij- of kolomrichting verdeeld en over de GPU's verdeeld, waarna na het berekenen van de deelproducten de resultaten via communicatie worden samengevoegd
Bij tensorparallellisme wordt de gewichtsmatrix bijvoorbeeld in kolomrichting in vier delen verdeeld en over vier GPU's gespreid, waarna elke GPU het product van dezelfde ingang met zijn eigen kolommen berekent. Aan het eind is per laag communicatie nodig om de resultaten samen te voegen of op te tellen, zodat het gewoonlijk wordt toegepast binnen GPU's in dezelfde server die met zeer snelle verbindingen zijn gekoppeld. Het wordt gecombineerd met dataparallellisme en pipelineparallellisme om enorme modellen te trainen.