Nederlands
Menu

AI-hardware en softwarestack

Wat is de belangrijkste reden dat een NPU in een SoC van een smartphone bij AI-inferentie energiezuiniger is dan een CPU?

  1. AOmdat een NPU met licht in plaats van elektriciteit rekent
  2. BOmdat veel multiply-accumulate-eenheden met lage precisie zoals INT8 zijn geplaatst en algemene schakelingen die niet voor AI-berekeningen nodig zijn zijn weggelaten
  3. COmdat een NPU altijd op een hogere klokfrequentie draait dan een CPU
Antwoord en toelichting tonen

Antwoord: B. Omdat veel multiply-accumulate-eenheden met lage precisie zoals INT8 zijn geplaatst en algemene schakelingen die niet voor AI-berekeningen nodig zijn zijn weggelaten

Een CPU kan alles uitvoeren en laat daarom per instructie veel schakelingen werken, zoals sprongvoorspelling en herordening van instructies. Een NPU is gespecialiseerd in matrix-multiply-accumulate, heeft veel rekeneenheden met lage precisie en is zo gebouwd dat data op de chip worden hergebruikt, zodat de energie per bewerking ordes van grootte kleiner is. In ruil daarvoor is hij minder geschikt voor andere dan AI-verwerking en voor niet-ondersteunde bewerkingen.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over waar op moet worden gelet bij een waarde als "○○ TOPS" als prestatie van een AI-versneller is juist?
  2. Welke uitspraak over MFU (Model FLOPs Utilization), een maat voor de efficiëntie van grootschalige training, is juist?
  3. Wat is een veelgebruikte benadering voor het aantal bewerkingen dat nodig is om een Transformer-model te trainen, bij N parameters en D trainingstokens?
  4. Wat is een benadering voor het aantal bewerkingen dat nodig is voor inferentie van één token bij een groot taalmodel met N parameters (zonder het attentiongedeelte)?
  5. Waarom wordt bij de berekening van de softmaxfunctie exp(xi)/Σexp(xj) vaak eerst de maximumwaarde van elke xi afgetrokken?