Wat is een probleem bij het trainen van een neuraal netwerk met FP16 (halve precisie: 1 teken, 5 exponent, 10 mantissebits) dat wordt aangepakt door de verliesfunctie een aantal keer te vergroten voor de berekening (loss scaling)?

Antwoord: B. Het weer te geven bereik is smal, waardoor kleine gradiënten 0 worden

FP16 heeft slechts 5 exponentbits, dus het bereik van weer te geven positieve waarden is smal: van circa 6 × 10⁻⁸ (inclusief gedenormaliseerde getallen) tot 65504. Bij training zijn veel berekende gradiënten zeer klein; in FP16 lopen deze onder (underflow) tot 0 en komt de training niet verder. Bij loss scaling wordt de verliesfunctie bijvoorbeeld met 1024 vermenigvuldigd vóór de backpropagation, zodat de gradiënten in het weer te geven bereik komen, en wordt dit voor het bijwerken van de gewichten weer ongedaan gemaakt. De mantisse is 10 bit, korter dan bij FP32, en breuken kunnen wel worden weergegeven.