推論ランタイム란?

すいろんらんたいむ

学習済みのモデルを読み込み、グラフの最適化、量子化、ハードウェアに合ったカーネルの選択などを行って推論を速く実行するソフトウェア。

일본어 명칭: 推論ランタイム

분야: AI 하드웨어·소프트웨어 스택