Wat is bfloat16?

Antwoord: A. De exponent is, net als bij FP32, 8 bit, zodat het bereik van weer te geven getallen groot is

bfloat16 is een 16-bitsformaat met 1 tekenbit, 8 exponentbits en 7 mantissebits. Omdat de exponent gelijk is aan die van FP32, is het weer te geven bereik vrijwel hetzelfde; zelfs zeer kleine of grote waarden zoals gradiënten tijdens de training veroorzaken niet snel overflow of underflow, en overstappen vanaf een FP32-model is eenvoudig. De precisie is lager, maar training is tamelijk bestand tegen kleine fouten, zodat dit zelden een probleem is, en de hoeveelheid data en het oppervlak van de rekeneenheid kunnen met de helft worden verminderd. De mantisse is korter dan bij FP32 en er wordt niet met gehele getallen maar met drijvendekommabewerkingen gerekend.

Antwoord: A. Bij het optellen van kleine bijwerkingen bij de gewichten verdwijnt de bijwerking door informatieverlies in een formaat met lage precisie

Bij training wordt telkens een zeer kleine waarde, "leersnelheid × gradiënt", bij de gewichten opgeteld. FP16 en bfloat16 hebben een korte mantisse; als de bijwerking te klein is ten opzichte van het gewicht, blijft de som door afronding gelijk aan het oorspronkelijke gewicht en verdwijnt de bijwerking (informatieverlies). Daarom worden de gewichten in FP32 bewaard, zodat de bijwerkingen correct worden opgebouwd, en wordt voor de voorwaartse en achterwaartse berekeningen een kopie met lagere precisie gebruikt. Rekenen gaat sneller bij lagere precisie, en waarden met lage precisie kunnen wel worden opgeslagen.