AIハードウェアとソフトウェアスタック

学習後量子化(PTQ)と、量子化を考慮した学習(QAT)の違いとして正しいものはどれか。

  1. APTQは学習の前に、QATは学習の後に量子化する
  2. BPTQは学習済みのモデルをそのまま量子化し、QATは学習の中で量子化の影響をまねて、低い精度でも誤差が小さくなるように重みを調整する
  3. CPTQとQATはどちらも、量子化をしない方法である
答えと解説を見る

正解：B. PTQは学習済みのモデルをそのまま量子化し、QATは学習の中で量子化の影響をまねて、低い精度でも誤差が小さくなるように重みを調整する

学習後量子化は、学習が終わったモデルの重み(と活性化)を、少量の代表的なデータで値の範囲を調べてから低い精度に変える方法で、手軽ですが、ビット数を減らすほど精度が落ちやすくなります。量子化を考慮した学習は、学習の順伝播で量子化による丸めをまねて、その誤差を含めて重みを調整するので、4ビットのような低い精度でも精度を保ちやすくなります。

  • A. PTQは学習の後に行います。
  • B. 正しい。QATは手間がかかる分、精度を保ちやすい方法です。
  • C. どちらも量子化の方法です。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. 活性化をINT8に量子化する学習後量子化で行う「キャリブレーション」の目的として正しいものはどれか。
  2. 大規模言語モデルの量子化で、ごく一部のチャネルに大きな外れ値があると精度が落ちやすい。対策として一般的なものはどれか。
  3. 大規模言語モデルの推論で、活性化はFP16のまま重みだけを4ビットにする(W4A16)量子化が、デコードを特に速くする理由として正しいものはどれか。
  4. ニューラルネットワークのプルーニング(枝刈り)について正しいものはどれか。
  5. GPUの行列演算器が対応している「2:4の構造化スパース」の説明として正しいものはどれか。