Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over de "2:4 gestructureerde sparsity" die door de matrixrekeneenheden van GPU's wordt ondersteund is juist?

  1. AEen vast sparsitypatroon waarbij de gewichten in groepen van vier worden verdeeld en in elke groep twee op 0 staan, waardoor de matrixrekeneenheid nullen overslaat en tot circa tweemaal sneller kan rekenen
  2. BVan de gewichten worden telkens willekeurig twee vierde deel gekozen voor de berekening
  3. CDe matrix wordt in 2 rijen en 4 kolommen verdeeld voor de berekening
Antwoord en toelichting tonen

Antwoord: A. Een vast sparsitypatroon waarbij de gewichten in groepen van vier worden verdeeld en in elke groep twee op 0 staan, waardoor de matrixrekeneenheid nullen overslaat en tot circa tweemaal sneller kan rekenen

Bij 2:4-sparsity wordt zo getraind of aangepast dat van vier opeenvolgende gewichten er altijd twee 0 zijn. Alleen de twee waarden die niet 0 zijn en een kleine hoeveelheid informatie over hun positie hoeven te worden bijgehouden, zodat het geheugen afneemt en de matrixrekeneenheid vermenigvuldigingen met 0 overslaat en circa tweemaal zo snel kan rekenen. Doordat het patroon vast is, wordt hardwareversnelling bereikt die bij verspreide sparsity moeilijk is.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over knowledge distillation (kennisdestillatie) is juist?
  2. Welke uitspraak over dataparallellisme bij training met meerdere GPU's is juist?
  3. Welke uitspraak over tensorparallellisme, waarbij het matrixproduct van een grote laag die niet in het geheugen van één GPU past over meerdere GPU's wordt verdeeld, is juist?
  4. Waarom wordt bij pipelineparallellisme, waarbij de lagen van het model achtereenvolgens over meerdere GPU's worden verdeeld, de batch in kleine micro-batches verdeeld en doorgestuurd?
  5. Welke uitspraak over de werking van de all-reduce-communicatie bij gedistribueerde training is juist?

Vergelijkingen bij dit onderwerp