KI-Hardware und Software-Stack

Was ist der Hauptgrund dafür, dass eine in den SoC eines Smartphones integrierte NPU bei der KI-Inferenz energieeffizienter ist als die CPU?

  1. AWeil die NPU ohne Strom mit Licht rechnet
  2. BWeil viele Multiply-Accumulate-Einheiten niedriger Genauigkeit wie INT8 angeordnet sind und für KI-Berechnungen unnötige Universalschaltungen weggelassen wurden
  3. CWeil die NPU stets mit einem höheren Takt läuft als die CPU
Antwort und Erläuterung anzeigen

Antwort: B. Weil viele Multiply-Accumulate-Einheiten niedriger Genauigkeit wie INT8 angeordnet sind und für KI-Berechnungen unnötige Universalschaltungen weggelassen wurden

Eine CPU betreibt für jeden Befehl viele Schaltungen, etwa für Sprungvorhersage und Befehlsumordnung, um beliebige Aufgaben ausführen zu können. Die NPU ist auf Matrix-Multiply-Accumulate spezialisiert, besitzt viele Recheneinheiten niedriger Genauigkeit und ist darauf ausgelegt, Daten auf dem Chip wiederzuverwenden; die Energie je Operation ist daher um Größenordnungen kleiner. Dafür eignet sie sich nicht für Aufgaben außerhalb der KI oder für nicht unterstützte Operationen.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Was ist bei der als „○○ TOPS“ angegebenen Leistung von KI-Beschleunigern zu beachten?
  2. Welche Aussage zur Kennzahl MFU (Model FLOPs Utilization) für die Effizienz großen Trainings ist richtig?
  3. Welche Näherung wird häufig als Richtwert für die Zahl der Operationen verwendet, die für das Training eines Transformer-Modells nötig sind, wenn N die Parameterzahl und D die Zahl der Trainings-Token ist?
  4. Welcher Wert ist ein Richtwert für die Zahl der Operationen, die für die Erzeugung eines Tokens bei der Inferenz eines großen Sprachmodells mit N Parametern nötig sind (ohne den Attention-Anteil)?
  5. Aus welchem Grund wird bei der Berechnung der Softmax-Funktion exp(xi)/Σexp(xj) häufig zunächst von jedem xi der Maximalwert abgezogen?