学習に必要なメモリが、同じモデルの推論よりずっと大きくなる理由として当てはまらないものはどれか。

正解：A. 学習では重みの数が推論の何倍にも増えるから

モデルの重みの数は学習でも推論でも同じです。しかし学習では、逆伝播で勾配を計算するために順伝播の途中の結果を各層で保存し、重みと同じ数の勾配と、Adamなどのオプティマイザが持つ重みごとの値(2つの移動平均など)も必要です。そのため学習のメモリは、重みだけで済む推論の何倍にもなり、大きなモデルの学習には多数のGPUが必要になります。

• A. 正しい。重みの数は学習でも推論でも同じです。
• B. 活性化の保存は学習のメモリの大きな部分を占めます。
• C. 勾配やオプティマイザの状態で、重みの数倍のメモリが要ります。