KI-Hardware und Software-Stack

Wie groß ist der Speicherbedarf der Gewichte eines Modells mit 7 Milliarden (7B) Parametern ungefähr, wenn sie in FP16 (2 Byte) gehalten werden?

  1. Aca. 14 GB
  2. Bca. 7 GB
  3. Cca. 28 GB
Antwort und Erläuterung anzeigen

Antwort: A. ca. 14 GB

Der Speicherbedarf der Gewichte ergibt sich aus der Parameterzahl mal der Bytezahl pro Parameter: 7 Mrd. × 2 Byte = 14 Mrd. Byte, also ca. 14 GB. Bei der Inferenz kommt zusätzlich Speicher für Zwischenergebnisse und, bei großen Sprachmodellen, für den KV-Cache hinzu. Ob ein Modell auf einem bestimmten Gerät oder einer GPU lauffähig ist, wird zunächst mit dieser Rechnung abgeschätzt.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Das 7B-Modell der vorherigen Frage wird von FP16 (ca. 14 GB) auf 4-Bit-Ganzzahlen (INT4) quantisiert. Wie groß ist der Speicherbedarf der Gewichte danach ungefähr?
  2. Wie viele Gleitkommaoperationen sind für das Produkt einer M×K-Matrix mit einer K×N-Matrix ungefähr nötig (Multiplikationen und Additionen separat gezählt)?
  3. Zwei FP16-Matrizen (2 Byte) der Größe N×N werden multipliziert, wobei beide Eingaben einmal gelesen und das Ergebnis einmal geschrieben wird. Wie hoch ist die arithmetische Intensität (Operationen pro Byte) ungefähr?
  4. Auf einem Beschleuniger mit 100 TFLOPS Spitzenleistung und 2 TB/s Speicherbandbreite wird eine Verarbeitung mit einer arithmetischen Intensität von 10 FLOP/Byte ausgeführt. Welche Leistung ist nach dem Roofline-Modell erreichbar?
  5. Bei nur einer Eingabe (Batchgröße 1) ist die Berechnung einer vollständig verbundenen Schicht (Produkt aus Gewichtsmatrix und Vektor) leicht speicherbegrenzt. Welche Begründung ist richtig?