Was ist Gradient Checkpointing?

Nur ein Teil der Zwischenergebnisse der Vorwärtsberechnung wird gespeichert, der Rest bei der Backpropagation neu berechnet: mehr Rechenaufwand gegen weniger Speicher.

Japanische Bezeichnung: 勾配チェックポイント

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Inferenz-Laufzeitumgebung (Inference Runtime) KI-Compiler

Zurück zum Glossar