KI-Hardware und Software-Stack

Ein Modell mit 7 Milliarden (7B) Parametern wird trainiert, wobei Gewichte, Gradienten und beide Adam-Zustände jeweils in FP32 (4 Byte) gehalten werden. Welcher Wert kommt dem Speicherbedarf ohne Aktivierungen am nächsten?

  1. Aca. 28 GB
  2. Bca. 112 GB
  3. Cca. 14 GB
Antwort und Erläuterung anzeigen

Antwort: B. ca. 112 GB

Pro Parameter werden 4 Byte für das Gewicht, 4 Byte für den Gradienten sowie je 4 Byte für den ersten und zweiten gleitenden Mittelwert von Adam benötigt, insgesamt 16 Byte. 7 Mrd. × 16 Byte = 112 Mrd. Byte, also ca. 112 GB; dazu kommt der Speicher für die Aktivierungen. Da dies oft nicht in den Speicher einer einzelnen GPU passt, werden Maßnahmen eingesetzt, etwa die Optimizer-Zustände auf mehrere GPUs zu verteilen oder mit geringerer Genauigkeit zu halten.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Wie groß ist der Speicherbedarf der Gewichte eines Modells mit 7 Milliarden (7B) Parametern ungefähr, wenn sie in FP16 (2 Byte) gehalten werden?
  2. Das 7B-Modell der vorherigen Frage wird von FP16 (ca. 14 GB) auf 4-Bit-Ganzzahlen (INT4) quantisiert. Wie groß ist der Speicherbedarf der Gewichte danach ungefähr?
  3. Wie viele Gleitkommaoperationen sind für das Produkt einer M×K-Matrix mit einer K×N-Matrix ungefähr nötig (Multiplikationen und Additionen separat gezählt)?
  4. Zwei FP16-Matrizen (2 Byte) der Größe N×N werden multipliziert, wobei beide Eingaben einmal gelesen und das Ergebnis einmal geschrieben wird. Wie hoch ist die arithmetische Intensität (Operationen pro Byte) ungefähr?
  5. Auf einem Beschleuniger mit 100 TFLOPS Spitzenleistung und 2 TB/s Speicherbandbreite wird eine Verarbeitung mit einer arithmetischen Intensität von 10 FLOP/Byte ausgeführt. Welche Leistung ist nach dem Roofline-Modell erreichbar?