Zwei FP16-Matrizen (2 Byte) der Größe N×N werden multipliziert, wobei beide Eingaben einmal gelesen und das Ergebnis einmal geschrieben wird. Wie hoch ist die arithmetische Intensität (Operationen pro Byte) ungefähr?

Antwort: B. N/3

Die Zahl der Operationen beträgt 2N³, der Speicherverkehr umfasst bei drei Matrizen 3N² Elemente, in FP16 also 6N² Byte. Die arithmetische Intensität ist 2N³ ÷ 6N² = N/3, bei N = 1024 etwa 340. Je größer die Matrizen, desto mehr Rechenaufwand fällt pro Byte an, sodass sich die Leistung der Recheneinheiten gut ausschöpfen lässt. Bei elementweisen Operationen wie einer Addition liegt die arithmetische Intensität dagegen unter 1, und die Geschwindigkeit wird durch die Speicherbandbreite bestimmt.