Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over "weight stationary" (gewichten vast), een van de dataflow-methoden van AI-versnellers, is juist?

  1. ADe gewichten worden telkens opnieuw uit het geheugen gelezen en de ingang blijft vast
  2. BDe gewichten blijven onbewogen in elke rekeneenheid en de ingangswaarden stromen erlangs om achtereenvolgens multiply-accumulate-bewerkingen uit te voeren, zodat het lezen van gewichten afneemt
  3. CEr wordt zonder gewichten gerekend
Antwoord en toelichting tonen

Antwoord: B. De gewichten blijven onbewogen in elke rekeneenheid en de ingangswaarden stromen erlangs om achtereenvolgens multiply-accumulate-bewerkingen uit te voeren, zodat het lezen van gewichten afneemt

Bij een matrixproduct bestaan er verschillende methoden voor het verplaatsen van data, afhankelijk van welke van gewicht, ingang en uitgang in de rekeneenheid blijft en wordt hergebruikt. Bij weight stationary wordt in elke rekeneenheid één gewicht geladen en vastgehouden, waarna veel ingangen erlangs stromen voor voortdurende multiply-accumulate-bewerkingen. Bij convoluties en berekeningen met een grote batch, waar hetzelfde gewicht voor veel ingangen wordt gebruikt, neemt de energie voor het lezen van gewichten sterk af.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke van de volgende is GEEN voordeel van AI-inferentie in een apparaat zoals een smartphone (edge) in plaats van op een cloudserver?
  2. Wat is de belangrijkste reden dat een NPU in een SoC van een smartphone bij AI-inferentie energiezuiniger is dan een CPU?
  3. Welke uitspraak over waar op moet worden gelet bij een waarde als "○○ TOPS" als prestatie van een AI-versneller is juist?
  4. Welke uitspraak over MFU (Model FLOPs Utilization), een maat voor de efficiëntie van grootschalige training, is juist?
  5. Wat is een veelgebruikte benadering voor het aantal bewerkingen dat nodig is om een Transformer-model te trainen, bij N parameters en D trainingstokens?