KI-Hardware und Software-Stack
Was ist bei der als „○○ TOPS“ angegebenen Leistung von KI-Beschleunigern zu beachten?
- AMeist handelt es sich um einen theoretischen Höchstwert, gezählt bei geringer Genauigkeit wie INT8; die tatsächliche Geschwindigkeit bei realen Modellen hängt stark von Speicherbandbreite und Auslastung der Recheneinheiten ab
- BBei doppelten TOPS läuft jedes Modell stets doppelt so schnell
- CTOPS ist ein Wert für die Speicherkapazität
Antwort und Erläuterung anzeigen
Antwort: A. Meist handelt es sich um einen theoretischen Höchstwert, gezählt bei geringer Genauigkeit wie INT8; die tatsächliche Geschwindigkeit bei realen Modellen hängt stark von Speicherbandbreite und Auslastung der Recheneinheiten ab
TOPS (Billionen Operationen pro Sekunde) ist ein theoretischer Wert für den Fall, dass alle Recheneinheiten ohne Pause arbeiten; er wird meist bei INT8 oder geringerer Genauigkeit gezählt und kann sich auf den Fall mit Sparsity beziehen. Bei realen Modellen ist die Verarbeitung durch die Speicherbandbreite begrenzt, Recheneinheiten liegen brach, oder nicht unterstützte Operationen werden von anderen Schaltungen ausgeführt; die effektive Leistung kann daher weit niedriger liegen. Beim Vergleich von Produkten sind unter gleichen Bedingungen gemessene Werte maßgeblich.