KI-Hardware und Software-Stack

Welche Aussage zum beim Training verwendeten Gradient Checkpointing (Neuberechnung von Aktivierungen) ist richtig?

  1. AEs speichert nur einen Teil der Zwischenergebnisse des Forward Pass und berechnet den Rest im Backward Pass bei Bedarf neu, sodass Speicher auf Kosten zusätzlicher Berechnung gespart wird
  2. BEs speichert die Modellgewichte während des Trainings auf der Festplatte
  3. CEs trainiert, ohne Gradienten zu berechnen
Antwort und Erläuterung anzeigen

Antwort: A. Es speichert nur einen Teil der Zwischenergebnisse des Forward Pass und berechnet den Rest im Backward Pass bei Bedarf neu, sodass Speicher auf Kosten zusätzlicher Berechnung gespart wird

Der Backward Pass benötigt die Zwischenergebnisse des Forward Pass jeder Schicht; werden alle gespeichert, wächst der Speicher proportional zu Schichtzahl und Batchgröße. Beim Gradient Checkpointing werden nur die Ergebnisse an jeweils einigen Schichten gespeichert, und wenn der Backward Pass diesen Abschnitt erreicht, wird der Forward Pass ab dem gespeicherten Punkt noch einmal berechnet, um die benötigten Werte zu rekonstruieren. Der Forward Pass wird dadurch etwa einmal zusätzlich berechnet, dafür sinkt der Aktivierungsspeicher stark.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Was ist der Hauptgrund dafür, dass Systolic Arrays in KI-Beschleunigern Matrixprodukte effizient berechnen können?
  2. Was ist der Hauptgrund dafür, dass KI-Beschleuniger mitunter großen SRAM (einige zehn bis einige hundert MB) auf dem Chip tragen?
  3. Welche Aussage zu „Weight Stationary“, einem der Dataflow-Verfahren von KI-Beschleunigern, ist richtig?
  4. Welcher der folgenden Punkte trifft nicht als Vorteil zu, wenn die KI-Inferenz nicht auf Cloud-Servern, sondern im Endgerät (Edge) wie einem Smartphone erfolgt?
  5. Was ist der Hauptgrund dafür, dass eine in den SoC eines Smartphones integrierte NPU bei der KI-Inferenz energieeffizienter ist als die CPU?