Computerarithmetiek
Hoe worden de twee FP8-formaten E4M3 (exponent 4, mantisse 3 bit) en E5M2 (exponent 5, mantisse 2 bit) gewoonlijk onderscheiden in gebruik?
- AE4M3 voor gewichten en activaties, E5M2 voor gradiënten
- BBeide hebben dezelfde precisie en hetzelfde bereik en worden zonder onderscheid gebruikt
- CE4M3 als geheel getal, E5M2 als drijvendekommagetal
Antwoord en toelichting tonen
Antwoord: A. E4M3 voor gewichten en activaties, E5M2 voor gradiënten
De eigenschappen hangen af van hoe de beperkte 8 bit over exponent en mantisse worden verdeeld. E4M3 heeft een mantissebit meer en dus een hogere precisie, maar een smaller bereik; E5M2 heeft een exponentbit meer en dus een breder bereik, maar een lagere precisie. Daarom worden E4M3 gewoonlijk gebruikt voor gewichten en activaties, waarvan de grootte tamelijk gelijkmatig is, en E5M2 voor gradiënten, waarvan de grootte sterk uiteenloopt. Beide zijn drijvendekommaformaten en geen gehele getallen.