推論ランタイムとは
すいろんらんたいむ
学習済みのモデルを読み込み、グラフの最適化、量子化、ハードウェアに合ったカーネルの選択などを行って推論を速く実行するソフトウェア。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「推論ランタイム」
推論ランタイムはモデルを読み込んだ後、推論に不要な部分を除き、演算を融合し、必要に応じて重みや活性化を低い精度に変え、対象のGPUやNPUで最も速いカーネルを選びます。
TensorRTやONNX Runtimeのような推論ランタイムが、学習用のフレームワークでそのまま推論するより速くで…PyTorchなどで学習したモデルをONNXに書き出せば、別の会社の推論ランタイムや、さまざまなハードウェアの道具で読み込んで実行できます。
ONNXの説明として正しいものはどれか。
「推論ランタイム」が出てくる問題(2問)
関連する用語
ONNX 推論 逆伝播 GPU NPU(ニューラルプロセッシングユニット) 計算グラフ アテンション AIコンパイラ MFU 演算強度