Sparsity waarbij de nullen in de gewichten in een vaste vorm zijn gerangschikt. Bijvoorbeeld 2:4-sparsity, waarbij van elke vier gewichten er twee 0 zijn, kan met een matrixrekeneenheid ongeveer 2 keer sneller worden berekend.
Japanse benaming: 構造化スパース
“Gestructureerde sparsity” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Een vast sparsitypatroon waarbij de gewichten in groepen van vier worden verdeeld en in elke groep twee op 0 staan, waardoor de matrixrekeneenheid nullen overslaat en tot circa tweemaal sneller kan rekenen
Bij 2:4-sparsity wordt zo getraind of aangepast dat van vier opeenvolgende gewichten er altijd twee 0 zijn. Alleen de twee waarden die niet 0 zijn en een kleine hoeveelheid informatie over hun positie hoeven te worden bijgehouden, zodat het geheugen afneemt en de matrixrekeneenheid vermenigvuldigingen met 0 overslaat en circa tweemaal zo snel kan rekenen. Doordat het patroon vast is, wordt hardwareversnelling bereikt die bij verspreide sparsity moeilijk is.
GPU AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gradient checkpointing Inferentie (inference)