KI-Hardware und Software-Stack

Was ist der Hauptgrund dafür, dass KI-Beschleuniger mitunter großen SRAM (einige zehn bis einige hundert MB) auf dem Chip tragen?

  1. AWeil SRAM seine Daten auch bei abgeschalteter Stromversorgung behält
  2. BWeil SRAM pro Bit günstiger ist als DRAM
  3. CUm Gewichte und Zwischenergebnisse auf dem Chip zu halten und mehrfach zu verwenden, sodass Zugriffe auf den langsamen und stromhungrigen externen Speicher abnehmen
Antwort und Erläuterung anzeigen

Antwort: C. Um Gewichte und Zwischenergebnisse auf dem Chip zu halten und mehrfach zu verwenden, sodass Zugriffe auf den langsamen und stromhungrigen externen Speicher abnehmen

Die Energie für einmaliges Lesen von Daten aus dem Chip-externen DRAM beträgt das Zehn- bis Hundertfache einer Multiply-Accumulate-Operation. Werden Daten im SRAM auf dem Chip gehalten und mehrfach verwendet, sinken die Zugriffe auf den externen Speicher, und Geschwindigkeit wie Energieeffizienz steigen. SRAM beansprucht jedoch viel Fläche und ist teuer; wie viel davon verbaut wird, richtet sich nach einem Ausgleich zwischen Größe der zu verarbeitenden Modelle und Kosten.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Welche Aussage zu „Weight Stationary“, einem der Dataflow-Verfahren von KI-Beschleunigern, ist richtig?
  2. Welcher der folgenden Punkte trifft nicht als Vorteil zu, wenn die KI-Inferenz nicht auf Cloud-Servern, sondern im Endgerät (Edge) wie einem Smartphone erfolgt?
  3. Was ist der Hauptgrund dafür, dass eine in den SoC eines Smartphones integrierte NPU bei der KI-Inferenz energieeffizienter ist als die CPU?
  4. Was ist bei der als „○○ TOPS“ angegebenen Leistung von KI-Beschleunigern zu beachten?
  5. Welche Aussage zur Kennzahl MFU (Model FLOPs Utilization) für die Effizienz großen Trainings ist richtig?