KI-Hardware und Software-Stack

Auf einem Beschleuniger mit 100 TFLOPS Spitzenleistung und 2 TB/s Speicherbandbreite wird eine Verarbeitung mit einer arithmetischen Intensität von 10 FLOP/Byte ausgeführt. Welche Leistung ist nach dem Roofline-Modell erreichbar?

  1. A100 TFLOPS (rechenbegrenzt)
  2. B20 TFLOPS (speicherbegrenzt)
  3. C10 TFLOPS (speicherbegrenzt)
Antwort und Erläuterung anzeigen

Antwort: B. 20 TFLOPS (speicherbegrenzt)

Nach dem Roofline-Modell ist die erreichbare Leistung das Minimum aus der Spitzenleistung und dem Produkt aus Bandbreite und arithmetischer Intensität. 2 TB/s × 10 FLOP/Byte = 20 TFLOPS und damit kleiner als die Spitzenleistung von 100; die Verarbeitung ist speicherbegrenzt, und 20 TFLOPS sind die Obergrenze. Spitzenleistung ÷ Bandbreite = 50 FLOP/Byte ist die Grenze (Ridge Point); nur Verarbeitungen mit höherer arithmetischer Intensität erreichen die Spitzenleistung.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Bei nur einer Eingabe (Batchgröße 1) ist die Berechnung einer vollständig verbundenen Schicht (Produkt aus Gewichtsmatrix und Vektor) leicht speicherbegrenzt. Welche Begründung ist richtig?
  2. Warum steigt die Effizienz der Gesamtverarbeitung bei der Inferenz tendenziell, wenn die Batchgröße (Zahl der gemeinsam verarbeiteten Eingaben) erhöht wird?
  3. Welcher Nachteil entsteht, wenn die Batchgröße bei der Inferenz zu groß gewählt wird?
  4. Die Inferenz großer Sprachmodelle gliedert sich in eine Phase, in der der Eingabetext gebündelt verarbeitet wird (Prefill), und eine Phase, in der die Ausgabe Token für Token erzeugt wird (Decode). Welche Kombination der jeweils leistungsbestimmenden Größen ist richtig (bei kleinem Batch)?
  5. Welche Aussage zur Rolle des bei der Inferenz großer Sprachmodelle verwendeten KV-Cache ist richtig?