AI-hardware en softwarestack
Welke uitspraak over waar op moet worden gelet bij een waarde als "○○ TOPS" als prestatie van een AI-versneller is juist?
- AHet is meestal een theoretisch maximum, geteld met lage precisie zoals INT8, en de werkelijke snelheid met een echt model varieert sterk afhankelijk van geheugenbandbreedte en benutting van de rekeneenheden
- BBij tweemaal zoveel TOPS draait elk model zeker tweemaal zo snel
- CTOPS is een waarde die de geheugencapaciteit aangeeft
Antwoord en toelichting tonen
Antwoord: A. Het is meestal een theoretisch maximum, geteld met lage precisie zoals INT8, en de werkelijke snelheid met een echt model varieert sterk afhankelijk van geheugenbandbreedte en benutting van de rekeneenheden
TOPS (tera-bewerkingen per seconde) is een theoretische waarde voor het geval alle rekeneenheden onafgebroken werken; meestal wordt met INT8 of lagere precisie geteld, en soms betreft het een waarde bij gebruik van sparsity. Bij werkelijke modellen worden de prestaties begrensd door de geheugenbandbreedte, staan rekeneenheden stil of worden niet-ondersteunde bewerkingen door andere schakelingen uitgevoerd, zodat de effectieve prestaties veel lager kunnen zijn. Bij het vergelijken van producten is het belangrijk te kijken naar gemeten waarden onder dezelfde omstandigheden.