Speciale schakeling om inferentie van neurale netwerken voor AI snel en met laag energieverbruik uit te voeren. Zit in de SoC's van smartphones en pc's.
Japanse benaming: NPU(ニューラルプロセッシングユニット)
“NPU (neural processing unit)” komt voor in 6 oefenvragen uit 2 onderwerpen, bijv. AI-hardware en softwarestack, CPU en architectuur.
Vakgebied: CPU en architectuur
Antwoord: B. Omdat veel multiply-accumulate-eenheden met lage precisie zoals INT8 zijn geplaatst en algemene schakelingen die niet voor AI-berekeningen nodig zijn zijn weggelaten
Een CPU kan alles uitvoeren en laat daarom per instructie veel schakelingen werken, zoals sprongvoorspelling en herordening van instructies. Een NPU is gespecialiseerd in matrix-multiply-accumulate, heeft veel rekeneenheden met lage precisie en is zo gebouwd dat data op de chip worden hergebruikt, zodat de energie per bewerking ordes van grootte kleiner is. In ruil daarvoor is hij minder geschikt voor andere dan AI-verwerking en voor niet-ondersteunde bewerkingen.
Een NPU is gespecialiseerd in matrix-multiply-accumulate, heeft veel rekeneenheden met lage precisie en is zo gebouwd dat data op de chip worden hergebruikt, zodat de energie per bewerking ordes van grootte kleiner is.
Wat is de belangrijkste reden dat een NPU in een SoC van ee…Een NPU is een speciale schakeling die de vermenigvuldig-optelbewerkingen, het grootste deel van de berekeningen van neurale netwerken, in grote aantallen parallel verwerkt met lage precisie, zoals gehele getallen van 8 bit of minder.
Welke speciale schakeling wordt in onder meer SoC's voor sm…Een AI-compiler neemt het model als rekengraaf van bewerkingen en datastromen, voegt bewerkingen samen waar dat kan, verwijdert overbodige berekeningen, kiest de geheugenopstelling, stelt tilegroottes af enz., en genereert kernels die bij het doel, zoals een GPU of NPU, passen.
Welke uitspraak over de belangrijkste taak van AI-compilers…Een inferentie-runtime verwijdert na het inlezen van het model de voor inferentie onnodige delen, voegt bewerkingen samen, zet gewichten en activaties zo nodig om naar lagere precisie en kiest de snelste kernel voor de doel-GPU of -NPU.
Wat is de belangrijkste reden dat inferentie-runtimes zoals…Binnen die beperkingen worden ze aan de praat gehouden met kwantisatie, destillatie naar kleinere modellen en energiezuinige specifieke schakelingen zoals NPU's.
Welke van de volgende is GEEN voordeel van AI-inferentie in…Inferentie (inference) GPU SoC (system on chip) AI-compiler Rekengraaf (computational graph) Sprongvoorspelling (branch prediction) TOPS ONNX Inferentie-runtime Numerieke apertuur (NA)