Zwevendekommaformaat van 8 bits. Er zijn E4M3 (4 bits exponent, 3 bits mantisse) en E5M2 (5 bits exponent, 2 bits mantisse), die naar behoefte voor precisie of bereik worden gekozen. Gebruikt om training en inferentie van AI sneller en zuiniger te maken.
Japanse benaming: FP8
“FP8” komt voor in 2 oefenvragen uit 2 onderwerpen, bijv. Computerarithmetiek, GPU-programmeren.
Vakgebied: Computerarithmetiek
Antwoord: A. E4M3 voor gewichten en activaties, E5M2 voor gradiënten
De eigenschappen hangen af van hoe de beperkte 8 bit over exponent en mantisse worden verdeeld. E4M3 heeft een mantissebit meer en dus een hogere precisie, maar een smaller bereik; E5M2 heeft een exponentbit meer en dus een breder bereik, maar een lagere precisie. Daarom worden E4M3 gewoonlijk gebruikt voor gewichten en activaties, waarvan de grootte tamelijk gelijkmatig is, en E5M2 voor gradiënten, waarvan de grootte sterk uiteenloopt. Beide zijn drijvendekommaformaten en geen gehele getallen.
Ze worden vaak gebruikt met lage precisie zoals FP16, BF16, FP8 en INT8 en versnellen het matrixproduct, dat het grootste deel van training en inferentie van neurale netwerken uitmaakt, aanzienlijk.
Welke uitspraak over de kenmerken van de tensor cores (matr…Exponent Mantisse (significand) GPU Tensor core INT8 Inferentie (inference) Afronden naar even (round to nearest even) bfloat16 Booth-algoritme Cancellation (verlies van significantie)