Software die een getraind model laadt en inferentie snel uitvoert door onder meer de graaf te optimaliseren, te kwantiseren en bij de hardware passende kernels te kiezen.
Japanse benaming: 推論ランタイム
“Inferentie-runtime” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Omdat de graaf wordt geoptimaliseerd tot een vorm die alleen voor inferentie nodig is, met onder meer operator fusion, kwantisatie en keuze van kernels die bij de hardware passen
Trainingsframeworks leggen de nadruk op flexibel schrijven en op registratie voor backpropagation, wat bij uitsluitend inferentie verspilling oplevert. Een inferentie-runtime verwijdert na het inlezen van het model de voor inferentie onnodige delen, voegt bewerkingen samen, zet gewichten en activaties zo nodig om naar lagere precisie en kiest de snelste kernel voor de doel-GPU of -NPU. Zo kunnen voor hetzelfde model latency en geheugen sterk afnemen.
Een inferentie-runtime verwijdert na het inlezen van het model de voor inferentie onnodige delen, voegt bewerkingen samen, zet gewichten en activaties zo nodig om naar lagere precisie en kiest de snelste kernel voor de doel-GPU of -NPU.
Wat is de belangrijkste reden dat inferentie-runtimes zoals…Inferentie (inference) ONNX Numerieke apertuur (NA) GPU NPU (neural processing unit) AI-compiler All-reduce Attention Backpropagatie Batchgrootte