勾配チェックポイント란?

こうばいちぇっくぽいんと

順伝播の途中の結果の一部だけを保存し、逆伝播で必要になったときに残りを計算し直して、計算を増やす代わりにメモリを減らす方法。

일본어 명칭: 勾配チェックポイント

분야: AI 하드웨어·소프트웨어 스택