Waarde die het aantal bewerkingen deelt door het aantal bytes dat uit het geheugen wordt gelezen of geschreven. Hoe groter, hoe eerder de berekening compute-bound is en hoe kleiner, hoe eerder memory-bound.
Japanse benaming: 演算強度
“Rekenintensiteit (arithmetic intensity)” komt voor in 8 oefenvragen uit 3 onderwerpen, bijv. AI-hardware en softwarestack, CPU en architectuur, Prestatiemeting en profiling.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. Roofline-model
In het roofline-model staat op de horizontale as de rekenintensiteit (aantal bewerkingen per uit het geheugen gelezen byte) en op de verticale as de prestaties. Taken met een lage rekenintensiteit worden begrensd door de geheugenbandbreedte (schuine lijn) en taken met een hoge rekenintensiteit door de piekrekenprestaties (horizontale lijn). Bij een bandbreedte van 1 TB/s en een rekenprestatie van 100 TFLOPS zijn taken met een rekenintensiteit lager dan 100 FLOP/byte bijvoorbeeld door het geheugen begrensd. Het model wordt gebruikt om te bepalen in welke richting verbetering moet worden gezocht (hergebruik van gegevens of efficiëntere berekening).
Antwoord: B. N/3
Het aantal bewerkingen is 2N³ en voor geheugentoegang gaat het om 3N² elementen van drie matrices, bij FP16 6N² bytes. De rekenintensiteit is 2N³ ÷ 6N² = N/3, bij N = 1024 circa 340. Bij matrixproducten neemt het aantal berekeningen per byte toe naarmate ze groter zijn, zodat de prestaties van de rekeneenheden gemakkelijk kunnen worden benut. Bewerkingen zoals elementgewijze optelling hebben daarentegen een rekenintensiteit onder 1, waarbij de geheugenbandbreedte de snelheid bepaalt.
In het roofline-model staat op de horizontale as de rekenintensiteit (aantal bewerkingen per uit het geheugen gelezen byte) en op de verticale as de prestaties.
Welk model toont met de rekenintensiteit (aantal bewerkinge…De rekenintensiteit is 2N³ ÷ 6N² = N/3, bij N = 1024 circa 340.
Bij het product van twee N×N-FP16-matrices (2 bytes) worden…Volgens het roofline-model is de haalbare prestatie de kleinste van "piekprestatie" en "bandbreedte × rekenintensiteit".
Een versneller met een piekprestatie van 100 TFLOPS en een …Bij FP16 zijn dat 2 bewerkingen per 2 bytes, een rekenintensiteit van circa 1.
Waarom is de berekening van een volledig verbonden laag (pr…Het lezen van de gewichten blijft gelijk terwijl het rekenwerk B maal zo groot wordt, zodat ook de rekenintensiteit ongeveer B maal zo groot wordt en de bewerking van geheugenbegrensd naar rekenbegrensd opschuift.
Waarom neemt de efficiëntie van de totale verwerking bij in…Roofline-model Batchgrootte Inferentie (inference) GPU Prefill Numerieke apertuur (NA) Via AI-compiler All-reduce Attention