Geheel getal van 8 bits met teken (−128 tot 127). Bij AI-inferentie leiden het omzetten (kwantiseren) van gewichten en activaties naar INT8 met een schaalfactor tot sterk lagere reken- en geheugenlast, en kleine gehele-getalschakelingen kunnen het snel verwerken.
Japanse benaming: INT8
“INT8” komt voor in 5 oefenvragen uit 3 onderwerpen, bijv. Computerarithmetiek, AI-hardware en softwarestack, GPU-programmeren.
Vakgebied: Computerarithmetiek
Antwoord: B. De hoeveelheid data wordt een vierde, en de berekening gaat sneller en zuiniger
Wanneer 32-bits gewichten 8 bit worden, wordt het geheugengebruik en de hoeveelheid uit te lezen data een vierde, wat veel effect heeft bij inferentie met beperkte geheugenbandbreedte. Bovendien zijn vermenigvuldigers voor gehele getallen van 8 bit veel kleiner en zuiniger dan drijvendekommavermenigvuldigers, zodat met hetzelfde oppervlak en vermogen meer bewerkingen mogelijk zijn. Daar staat tegenover dat slechts 256 waarden kunnen worden weergegeven, wat fouten veroorzaakt en de nauwkeurigheid enigszins kan verlagen. De nauwkeurigheid of prestaties nemen niet altijd toe.
Antwoord: C. 20
De schaal is 6,35 ÷ 127 = 0,05, dus het gehele getal 1 komt overeen met het reële getal 0,05. Om een reële waarde in een geheel getal om te zetten wordt gedeeld door de schaal en afgerond op het dichtstbijzijnde gehele getal: 1,0 ÷ 0,05 = 20. Terugrekenen geeft 20 × 0,05 = 1,0. 1 is de fout waarbij de reële waarde ongewijzigd als geheel getal wordt genomen, en 127 is het gehele getal dat bij de maximale waarde 6,35 hoort. Als er grote uitschieters buiten het bereik zijn, wordt de schaal grof en daalt de precisie, zodat de keuze van de maximale waarde (kalibratie) belangrijk is.
Daarom worden enkele honderden invoeren die op het werkelijke gebruik lijken doorgerekend om het waardenbereik en de verdeling van de activaties van elke laag te onderzoeken en te bepalen welk bereik op −127 tot 127 van INT8 wordt afgebeeld (de schaal).
Wat is het doel van "kalibratie" bij post-training quantiza…Ze worden vaak gebruikt met lage precisie zoals FP16, BF16, FP8 en INT8 en versnellen het matrixproduct, dat het grootste deel van training en inferentie van neurale netwerken uitmaakt, aanzienlijk.
Welke uitspraak over de kenmerken van de tensor cores (matr…TOPS (tera-bewerkingen per seconde) is een theoretische waarde voor het geval alle rekeneenheden onafgebroken werken; meestal wordt met INT8 of lagere precisie geteld, en soms betreft het een waarde bij gebruik van sparsity.
Welke uitspraak over waar op moet worden gelet bij een waar…Inferentie (inference) Post-training quantization (PTQ) Numerieke apertuur (NA) GPU Tensor core FP8 TOPS Afronden naar even (round to nearest even) bfloat16 Booth-algoritme