AIハードウェアとソフトウェアスタック
TensorRTやONNX Runtimeのような推論ランタイムが、学習用のフレームワークでそのまま推論するより速くできる主な理由はどれか。
- A推論だけに必要な形にグラフを最適化し、演算の融合、量子化、ハードウェアに合ったカーネルの選択などを行うから
- B推論ランタイムは計算を省略して、だいたいの答えを出すから
- C推論ランタイムは、モデルの重みの数を増やすから
答えと解説を見る
正解：A. 推論だけに必要な形にグラフを最適化し、演算の融合、量子化、ハードウェアに合ったカーネルの選択などを行うから
学習用のフレームワークは、柔軟に書けることや逆伝播のための記録を重視しているので、推論だけに使うと無駄があります。推論ランタイムはモデルを読み込んだ後、推論に不要な部分を除き、演算を融合し、必要に応じて重みや活性化を低い精度に変え、対象のGPUやNPUで最も速いカーネルを選びます。こうして同じモデルでも遅延とメモリを大きく減らせます。
- A. 正しい。逆伝播のための仕組みが不要になります。
- B. 計算を省略するわけではありません。
- C. 重みの数は増えません。