KI-Hardware und Software-Stack

Welche Anordnung des KI-Software-Stacks von der nutzernahen oberen Schicht zur hardwarenahen unteren Schicht ist richtig?

  1. AFramework (z. B. PyTorch) → Compiler bzw. Laufzeitumgebung → Operator-Bibliothek (z. B. cuBLAS) → Treiber → Hardware
  2. BHardware → Framework → Treiber → Bibliothek
  3. CTreiber → Framework → Hardware → Compiler
Antwort und Erläuterung anzeigen

Antwort: A. Framework (z. B. PyTorch) → Compiler bzw. Laufzeitumgebung → Operator-Bibliothek (z. B. cuBLAS) → Treiber → Hardware

Nutzer beschreiben Modelle in einem Framework wie PyTorch. Framework sowie KI-Compiler und Laufzeitumgebung optimieren den Berechnungsgraphen, und für Matrixprodukte, Faltungen usw. werden Kernels hochoptimierter Operator-Bibliotheken aufgerufen. Die Bibliotheken senden über den Treiber Befehle an GPU oder NPU. Damit neue Hardware breit eingesetzt wird, kommt es nicht nur auf die Leistung der Recheneinheiten an, sondern unabdingbar auch auf die Vollständigkeit dieses geschichteten Software-Stacks.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Welche Aussage zum Unterschied zwischen „Training“ und „Inferenz“ eines neuronalen Netzes ist richtig?
  2. Welcher der folgenden Gründe erklärt nicht, warum das Training deutlich mehr Speicher benötigt als die Inferenz desselben Modells?
  3. Ein Modell mit 7 Milliarden (7B) Parametern wird trainiert, wobei Gewichte, Gradienten und beide Adam-Zustände jeweils in FP32 (4 Byte) gehalten werden. Welcher Wert kommt dem Speicherbedarf ohne Aktivierungen am nächsten?
  4. Wie groß ist der Speicherbedarf der Gewichte eines Modells mit 7 Milliarden (7B) Parametern ungefähr, wenn sie in FP16 (2 Byte) gehalten werden?
  5. Das 7B-Modell der vorherigen Frage wird von FP16 (ca. 14 GB) auf 4-Bit-Ganzzahlen (INT4) quantisiert. Wie groß ist der Speicherbedarf der Gewichte danach ungefähr?