AI-verwerking waarbij met de tijdens training bepaalde gewichten alleen forward propagation wordt uitgevoerd om uit de invoer een antwoord te geven. Vraagt minder rekenwerk en geheugen dan training.
Japanse benaming: 推論
“Inferentie (inference)” komt voor in 22 oefenvragen uit 4 onderwerpen, bijv. AI-hardware en softwarestack, CPU en architectuur, GPU-programmeren.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. Ze hebben veel eenvoudige rekeneenheden en kunnen grote hoeveelheden gegevens parallel verwerken
Een GPU heeft van oorsprong, om de vele pixels van het scherm gelijktijdig te verwerken, een structuur met duizenden tot meer dan tienduizend eenvoudige rekeneenheden. Bij bewerkingen als matrixrekenen, waarbij dezelfde berekening op veel gegevens wordt herhaald, levert dit parallellisme hoge prestaties. De laatste jaren beschikken GPU's over speciale eenheden voor matrixbewerkingen (zoals Tensor Cores) en HBM met brede bandbreedte, en zijn ze de hoofdrolspeler bij het trainen van AI. Voor sequentiële verwerking met veel sprongen is een CPU beter geschikt.
Antwoord: C. NPU (neural processing unit)
Een NPU is een speciale schakeling die de vermenigvuldig-optelbewerkingen, het grootste deel van de berekeningen van neurale netwerken, in grote aantallen parallel verwerkt met lage precisie, zoals gehele getallen van 8 bit of minder. De prestaties per vermogen zijn meer dan een orde van grootte hoger dan bij een algemene CPU, zodat fotocorrectie, spraakherkenning en vertaling binnen de smartphone kunnen worden uitgevoerd. De prestaties worden uitgedrukt in TOPS (biljoenen bewerkingen per seconde) en NPU's worden ook steeds vaker in SoC's voor pc's opgenomen.
Wanneer 32-bits gewichten 8 bit worden, wordt het geheugengebruik en de hoeveelheid uit te lezen data een vierde, wat veel effect heeft bij inferentie met beperkte geheugenbandbreedte.
Wat is het belangrijkste voordeel van het omzetten (kwantis…Bij inferentie wordt met de tijdens de training bepaalde gewichten alleen voorwaarts gepropageerd.
Welke uitspraak over het verschil tussen "training" en "inf…Het aantal gewichten van het model is bij training en inferentie gelijk.
Welke van de volgende is GEEN reden waarom het geheugen voo…Bij inferentie op servers wordt de GPU efficiënt benut door verzoeken van veel gebruikers gezamenlijk te verwerken.
Waarom neemt de efficiëntie van de totale verwerking bij in…Trainingsframeworks leggen de nadruk op flexibel schrijven en op registratie voor backpropagation, wat bij uitsluitend inferentie verspilling oplevert.
Wat is de belangrijkste reden dat inferentie-runtimes zoals…GPU NPU (neural processing unit) KV-cache Batchgrootte SoC (system on chip) INT8 Rekenintensiteit (arithmetic intensity) Prefill ONNX HBM (high bandwidth memory)