KI-Hardware und Software-Stack

Das 7B-Modell der vorherigen Frage wird von FP16 (ca. 14 GB) auf 4-Bit-Ganzzahlen (INT4) quantisiert. Wie groß ist der Speicherbedarf der Gewichte danach ungefähr?

  1. Aca. 7 GB
  2. Bca. 1,75 GB
  3. Cca. 3,5 GB
Antwort und Erläuterung anzeigen

Antwort: C. ca. 3,5 GB

Da ein Parameter statt 16 Bit nur noch 4 Bit belegt, sinkt der Speicherbedarf auf ein Viertel, also ca. 3,5 GB (in der Praxis kommen noch geringe Zusatzinformationen wie Quantisierungsskalen hinzu). Der geringere Speicherbedarf ermöglicht es, große Modelle auch auf PCs und Smartphones auszuführen; zudem wird die aus dem Speicher gelesene Datenmenge kleiner, sodass die Inferenz schneller wird. Wichtig sind Maßnahmen, die den Genauigkeitsverlust gering halten.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Wie viele Gleitkommaoperationen sind für das Produkt einer M×K-Matrix mit einer K×N-Matrix ungefähr nötig (Multiplikationen und Additionen separat gezählt)?
  2. Zwei FP16-Matrizen (2 Byte) der Größe N×N werden multipliziert, wobei beide Eingaben einmal gelesen und das Ergebnis einmal geschrieben wird. Wie hoch ist die arithmetische Intensität (Operationen pro Byte) ungefähr?
  3. Auf einem Beschleuniger mit 100 TFLOPS Spitzenleistung und 2 TB/s Speicherbandbreite wird eine Verarbeitung mit einer arithmetischen Intensität von 10 FLOP/Byte ausgeführt. Welche Leistung ist nach dem Roofline-Modell erreichbar?
  4. Bei nur einer Eingabe (Batchgröße 1) ist die Berechnung einer vollständig verbundenen Schicht (Produkt aus Gewichtsmatrix und Vektor) leicht speicherbegrenzt. Welche Begründung ist richtig?
  5. Warum steigt die Effizienz der Gesamtverarbeitung bei der Inferenz tendenziell, wenn die Batchgröße (Zahl der gemeinsam verarbeiteten Eingaben) erhöht wird?