Methode waarbij tijdens de training de afrondingen van kwantisatie worden nagebootst en de gewichten worden aangepast met inbegrip van die fout. QAT. De nauwkeurigheid blijft ook bij een laag aantal bits gemakkelijker behouden.
Japanse benaming: 量子化を考慮した学習
“Quantization-aware training (QAT)” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. PTQ kwantiseert een reeds getraind model zoals het is, en QAT bootst tijdens de training het effect van kwantisatie na en past de gewichten aan zodat de fout ook bij lage precisie klein blijft
Bij post-training quantization worden de gewichten (en activaties) van een volledig getraind model omgezet naar lagere precisie nadat het waardenbereik met een kleine hoeveelheid representatieve data is onderzocht; dit is eenvoudig, maar de nauwkeurigheid neemt gemakkelijker af naarmate het aantal bits kleiner is. Bij quantization-aware training wordt de afronding door kwantisatie in de voorwaartse propagatie van de training nagebootst en worden de gewichten inclusief die fout aangepast, zodat de nauwkeurigheid ook bij lage precisie zoals 4 bits goed behouden blijft.
Bij quantization-aware training wordt de afronding door kwantisatie in de voorwaartse propagatie van de training nagebootst en worden de gewichten inclusief die fout aangepast, zodat de nauwkeurigheid ook bij lage precisie zoals 4 bits goed behouden blijft.
Welke uitspraak over het verschil tussen post-training quan…Post-training quantization (PTQ) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity Gradient checkpointing