推論とは

すいろん

学習で決まった重みを使い、入力から順伝播だけを行って答えを出すAIの処理。学習より計算とメモリが少なくて済む。

この用語の分野: AIハードウェアとソフトウェアスタック

解説の中の「推論」

「推論」が出てくる問題(24問)

  1. GPUが行列演算やAIの学習・推論に向いている主な理由はどれか。
  2. AIの推論処理を高速かつ低い消費電力で行うために、スマートフォン用のSoCなどに搭載される専用回路はどれか。
  3. AIの推論で、重みをFP32からINT8に変換(量子化)する主な利点はどれか。
  4. ニューラルネットワークの「学習」と「推論」の違いとして正しいものはどれか。
  5. 学習に必要なメモリが、同じモデルの推論よりずっと大きくなる理由として当てはまらないものはどれか。
  6. 推論でバッチサイズ(まとめて処理する入力の数)を大きくすると、処理全体の効率が上がりやすい理由はどれか。
  7. 推論でバッチサイズを大きくしすぎたときの欠点として正しいものはどれか。
  8. 大規模言語モデルの推論は、入力の文章をまとめて処理する段階(プリフィル)と、1トークンずつ出力を作る段階(デコード)に分かれる。それぞれの性能を主に決めるものの組み合わせとして正しいものはどれか(バッチが小さい場合)。
  9. 大規模言語モデルの推論で使われるKVキャッシュの役割として正しいものはどれか。
  10. 大規模言語モデルの推論で、長い文章や大きなバッチを扱うときに問題になりやすいことはどれか。
  11. TensorRTやONNX Runtimeのような推論ランタイムが、学習用のフレームワークでそのまま推論するより速くできる主な理由はどれか。
  12. 大規模言語モデルの推論で、活性化はFP16のまま重みだけを4ビットにする(W4A16)量子化が、デコードを特に速くする理由として正しいものはどれか。
  13. AIの推論をクラウドのサーバではなく、スマートフォンなどの端末の中(エッジ)で行う利点として当てはまらないものはどれか。
  14. スマートフォンのSoCに載るNPUが、AIの推論でCPUより電力の効率が高い主な理由はどれか。
  15. パラメータ数Nの大規模言語モデルで、1トークンを生成する推論に必要な演算の数の目安はどれか(アテンションの部分を除く)。

関連する用語

GPU NPU(ニューラルプロセッシングユニット) KVキャッシュ 逆伝播 SoC(システムオンチップ) INT8 バッチサイズ 演算強度 プリフィル アテンション

用語集の一覧へ