Das Addieren eines Bias zum Ergebnis eines Matrixprodukts und das anschließende Durchlaufen von ReLU wurden von drei getrennten Kernels zu einem verschmolzen. Was verringert sich dadurch hauptsächlich?

Antwort: B. Die Menge der Lese- und Schreibzugriffe auf den Speicher (z. B. HBM) sowie die Zahl der Kernel-Starts

Bei getrennten Kernels wird das Matrixprodukt in den Speicher geschrieben, der Bias-Kernel liest und schreibt es, und der ReLU-Kernel liest und schreibt es erneut. Bei der Fusion werden Bias-Addition und ReLU direkt dort angewendet, wo das Matrixprodukt berechnet wird, und nur das Endergebnis wird geschrieben; die Lese- und Schreibzugriffe auf den großen Zwischentensor entfallen für zwei Hin- und Rückwege, und auch der Aufwand für Starts sinkt. Der Rechenaufwand selbst ändert sich nicht.