Optimalisatie waarbij meerdere bewerkingen in één kernel worden samengevoegd, zodat het wegschrijven en opnieuw inlezen van tussenresultaten in het geheugen wordt bespaard.
Japanse benaming: 演算の融合
“Operator fusion” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Meerdere bewerkingen in één kernel samenvoegen, zodat het schrijven en opnieuw lezen van tussenresultaten in het geheugen wordt bespaard
Na een matrixproduct volgen vaak elementgewijze bewerkingen zoals het optellen van een bias, een activatiefunctie en normalisatie. Worden deze in aparte kernels uitgevoerd, dan worden tussenresultaten telkens naar het geheugen geschreven en door de volgende kernel opnieuw gelezen, zodat het lezen en schrijven van geheugen meer tijd kost dan de berekening. In één kernel kan de berekening doorgaan terwijl de tussenresultaten in registers of geheugen op de chip blijven.
Numerieke apertuur (NA) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity Gradient checkpointing