AI-hardware en softwarestack
Bij het product van twee N×N-FP16-matrices (2 bytes) worden de twee ingangen eenmaal gelezen en het resultaat eenmaal geschreven. Hoeveel bedraagt de rekenintensiteit (aantal bewerkingen per byte) ongeveer?
- A1/3
- BN/3
- C3N
Antwoord en toelichting tonen
Antwoord: B. N/3
Het aantal bewerkingen is 2N³ en voor geheugentoegang gaat het om 3N² elementen van drie matrices, bij FP16 6N² bytes. De rekenintensiteit is 2N³ ÷ 6N² = N/3, bij N = 1024 circa 340. Bij matrixproducten neemt het aantal berekeningen per byte toe naarmate ze groter zijn, zodat de prestaties van de rekeneenheden gemakkelijk kunnen worden benut. Bewerkingen zoals elementgewijze optelling hebben daarentegen een rekenintensiteit onder 1, waarbij de geheugenbandbreedte de snelheid bepaalt.