Nederlands
Menu

Computerarithmetiek

Wat is de belangrijkste reden dat bfloat16 wordt gebruikt bij het trainen van AI?

  1. ADe exponent is, net als bij FP32, 8 bit, zodat het bereik van weer te geven getallen groot is
  2. BDe mantisse is langer dan bij FP32, zodat de precisie hoger is
  3. CEr kan met gehele-getalbewerkingen worden gerekend
Antwoord en toelichting tonen

Antwoord: A. De exponent is, net als bij FP32, 8 bit, zodat het bereik van weer te geven getallen groot is

bfloat16 is een 16-bitsformaat met 1 tekenbit, 8 exponentbits en 7 mantissebits. Omdat de exponent gelijk is aan die van FP32, is het weer te geven bereik vrijwel hetzelfde; zelfs zeer kleine of grote waarden zoals gradiënten tijdens de training veroorzaken niet snel overflow of underflow, en overstappen vanaf een FP32-model is eenvoudig. De precisie is lager, maar training is tamelijk bestand tegen kleine fouten, zodat dit zelden een probleem is, en de hoeveelheid data en het oppervlak van de rekeneenheid kunnen met de helft worden verminderd. De mantisse is korter dan bij FP32 en er wordt niet met gehele getallen maar met drijvendekommabewerkingen gerekend.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over Computerarithmetiek

  1. Wat is een probleem bij het trainen van een neuraal netwerk met FP16 (halve precisie: 1 teken, 5 exponent, 10 mantissebits) dat wordt aangepakt door de verliesfunctie een aantal keer te vergroten voor de berekening (loss scaling)?
  2. Wat is de grootste eindige waarde die FP16 (1 teken, 5 exponentbits (bias 15), 10 mantissebits) kan weergeven?
  3. Hoe worden de twee FP8-formaten E4M3 (exponent 4, mantisse 3 bit) en E5M2 (exponent 5, mantisse 2 bit) gewoonlijk onderscheiden in gebruik?
  4. Wat is het belangrijkste voordeel van het omzetten (kwantiseren) van gewichten van FP32 naar INT8 bij AI-inferentie?
  5. Gegevens met een waardebereik van −6,35 tot 6,35 worden gekwantiseerd naar symmetrisch INT8 (−127 tot 127) rond 0. Met de schaal gelijk aan "grootste absolute waarde ÷ 127", door welk geheel getal wordt 1,0 weergegeven?