勾配チェックポイントとは
こうばいちぇっくぽいんと
順伝播の途中の結果の一部だけを保存し、逆伝播で必要になったときに残りを計算し直して、計算を増やす代わりにメモリを減らす方法。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「勾配チェックポイント」
勾配チェックポイントでは、いくつかの層ごとの結果だけを保存し、逆伝播でその区間に来たら、保存した地点から順伝播をもう一度計算して必要な値を作り直します。
学習で使われる勾配チェックポイント(活性化の再計算)の説明として正しいものはどれか。
「勾配チェックポイント」が出てくる問題(1問)
関連する用語
逆伝播 アテンション AIコンパイラ MFU 演算強度 演算の融合 オールリデュース ONNX 学習後量子化 計算グラフ