KI-Hardware und Software-Stack

Wie viele Gleitkommaoperationen sind für das Produkt einer M×K-Matrix mit einer K×N-Matrix ungefähr nötig (Multiplikationen und Additionen separat gezählt)?

  1. AMNK
  2. BM+N+K
  3. C2MNK
Antwort und Erläuterung anzeigen

Antwort: C. 2MNK

Die Ergebnismatrix hat M×N Elemente, und jedes Element ist ein Skalarprodukt der Länge K, das K Multiplikationen und (annähernd) K Additionen erfordert. Insgesamt sind es etwa 2MNK Operationen. Der Rechenaufwand von KI-Aufgaben wird häufig mit dieser Formel abgeschätzt, und die Leistung wird in Operationen pro Sekunde (FLOPS) angegeben. Wird eine Multiply-Accumulate-Operation als eine Operation gezählt, halbiert sich der Wert auf MNK; es ist daher darauf zu achten, wie gezählt wird.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Zwei FP16-Matrizen (2 Byte) der Größe N×N werden multipliziert, wobei beide Eingaben einmal gelesen und das Ergebnis einmal geschrieben wird. Wie hoch ist die arithmetische Intensität (Operationen pro Byte) ungefähr?
  2. Auf einem Beschleuniger mit 100 TFLOPS Spitzenleistung und 2 TB/s Speicherbandbreite wird eine Verarbeitung mit einer arithmetischen Intensität von 10 FLOP/Byte ausgeführt. Welche Leistung ist nach dem Roofline-Modell erreichbar?
  3. Bei nur einer Eingabe (Batchgröße 1) ist die Berechnung einer vollständig verbundenen Schicht (Produkt aus Gewichtsmatrix und Vektor) leicht speicherbegrenzt. Welche Begründung ist richtig?
  4. Warum steigt die Effizienz der Gesamtverarbeitung bei der Inferenz tendenziell, wenn die Batchgröße (Zahl der gemeinsam verarbeiteten Eingaben) erhöht wird?
  5. Welcher Nachteil entsteht, wenn die Batchgröße bei der Inferenz zu groß gewählt wird?