Het optellen van een bias en het toepassen van ReLU op het resultaat van een matrixproduct, eerst drie aparte kernels, zijn samengevoegd tot één kernel. Wat neemt hierdoor hoofdzakelijk af?

Antwoord: B. De hoeveelheid lees- en schrijfacties naar het geheugen (zoals HBM) en het aantal kernelstarts

Bij aparte kernels wordt het matrixproduct naar het geheugen geschreven, leest en schrijft de biaskernel dit en leest en schrijft de ReLU-kernel het opnieuw. Bij fusion worden direct bij het verkrijgen van het matrixproduct de bias opgeteld en ReLU toegepast, zodat alleen het eindresultaat hoeft te worden geschreven; het lezen en schrijven van de grote tussentensor vervalt voor twee rondes en ook de overhead van starten neemt af. De hoeveelheid rekenwerk zelf verandert niet.