KI-Hardware und Software-Stack

Welche Aussage zu „Weight Stationary“, einem der Dataflow-Verfahren von KI-Beschleunigern, ist richtig?

  1. ADie Gewichte werden jedes Mal neu aus dem Speicher gelesen, die Eingaben bleiben fest
  2. BDie Gewichte verbleiben unbewegt in den einzelnen Recheneinheiten; Eingabewerte werden durchgeleitet, um nacheinander Multiply-Accumulate-Operationen auszuführen, wodurch das Lesen der Gewichte verringert wird
  3. CDie Berechnung erfolgt ohne Gewichte
Antwort und Erläuterung anzeigen

Antwort: B. Die Gewichte verbleiben unbewegt in den einzelnen Recheneinheiten; Eingabewerte werden durchgeleitet, um nacheinander Multiply-Accumulate-Operationen auszuführen, wodurch das Lesen der Gewichte verringert wird

Beim Matrixprodukt unterscheiden sich die Dataflow-Verfahren danach, ob Gewichte, Eingaben oder Ausgaben in der Recheneinheit gehalten und wiederverwendet werden. Bei Weight Stationary wird in jede Recheneinheit je ein Gewicht geladen und festgehalten, und es werden viele Eingaben hindurchgeleitet, um die Multiply-Accumulate-Operationen fortzusetzen. Bei Faltungen und Berechnungen mit großem Batch, in denen dasselbe Gewicht für viele Eingaben dient, lässt sich die Energie für das Lesen der Gewichte erheblich senken.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Welcher der folgenden Punkte trifft nicht als Vorteil zu, wenn die KI-Inferenz nicht auf Cloud-Servern, sondern im Endgerät (Edge) wie einem Smartphone erfolgt?
  2. Was ist der Hauptgrund dafür, dass eine in den SoC eines Smartphones integrierte NPU bei der KI-Inferenz energieeffizienter ist als die CPU?
  3. Was ist bei der als „○○ TOPS“ angegebenen Leistung von KI-Beschleunigern zu beachten?
  4. Welche Aussage zur Kennzahl MFU (Model FLOPs Utilization) für die Effizienz großen Trainings ist richtig?
  5. Welche Näherung wird häufig als Richtwert für die Zahl der Operationen verwendet, die für das Training eines Transformer-Modells nötig sind, wenn N die Parameterzahl und D die Zahl der Trainings-Token ist?