Prestatie-indicator voor AI-versnellers die het aantal bewerkingen per seconde in biljoenen (tera) uitdrukt. Meestal een theoretisch maximum, geteld bij lage precisie.
Japanse benaming: TOPS
“TOPS” komt voor in 2 oefenvragen uit 2 onderwerpen, bijv. AI-hardware en softwarestack, CPU en architectuur.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Het is meestal een theoretisch maximum, geteld met lage precisie zoals INT8, en de werkelijke snelheid met een echt model varieert sterk afhankelijk van geheugenbandbreedte en benutting van de rekeneenheden
TOPS (tera-bewerkingen per seconde) is een theoretische waarde voor het geval alle rekeneenheden onafgebroken werken; meestal wordt met INT8 of lagere precisie geteld, en soms betreft het een waarde bij gebruik van sparsity. Bij werkelijke modellen worden de prestaties begrensd door de geheugenbandbreedte, staan rekeneenheden stil of worden niet-ondersteunde bewerkingen door andere schakelingen uitgevoerd, zodat de effectieve prestaties veel lager kunnen zijn. Bij het vergelijken van producten is het belangrijk te kijken naar gemeten waarden onder dezelfde omstandigheden.
TOPS (tera-bewerkingen per seconde) is een theoretische waarde voor het geval alle rekeneenheden onafgebroken werken; meestal wordt met INT8 of lagere precisie geteld, en soms betreft het een waarde bij gebruik van sparsity.
Welke uitspraak over waar op moet worden gelet bij een waar…De prestaties worden uitgedrukt in TOPS (biljoenen bewerkingen per seconde) en NPU's worden ook steeds vaker in SoC's voor pc's opgenomen.
Welke speciale schakeling wordt in onder meer SoC's voor sm…INT8 SoC (system on chip) Inferentie (inference) NPU (neural processing unit) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme