Methode waarbij van de tussenresultaten van de voorwaartse doorgang slechts een deel wordt bewaard en de rest bij backpropagation opnieuw wordt berekend wanneer die nodig is, zodat geheugen wordt bespaard ten koste van meer rekenwerk.
Japanse benaming: 勾配チェックポイント
“Gradient checkpointing” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Slechts een deel van de tussenresultaten van de voorwaartse propagatie wordt opgeslagen en de rest wordt bij backpropagation opnieuw berekend wanneer nodig, waardoor geheugen wordt bespaard ten koste van meer rekenwerk
Backpropagation heeft de tussenresultaten van de voorwaartse propagatie van elke laag nodig, maar als alles wordt opgeslagen, groeit het geheugen evenredig met het aantal lagen en de batchgrootte. Bij gradient checkpointing worden alleen de resultaten van elke enkele lagen opgeslagen en wordt, als backpropagation bij dat traject komt, de voorwaartse propagatie vanaf het opgeslagen punt opnieuw berekend om de benodigde waarden terug te maken. Het rekenwerk van de voorwaartse propagatie neemt met circa één keer toe, in ruil voor een sterke afname van het activatiegeheugen.
Bij gradient checkpointing worden alleen de resultaten van elke enkele lagen opgeslagen en wordt, als backpropagation bij dat traject komt, de voorwaartse propagatie vanaf het opgeslagen punt opnieuw berekend om de benodigde waarden terug te maken.
Welke uitspraak over gradient checkpointing (herberekening …Batchgrootte AI-compiler All-reduce Attention Backpropagatie Dataparallellisme FlashAttention Gestructureerde sparsity Inferentie (inference) Inferentie-runtime