学習後量子化とは
がくしゅうごりょうしか
学習が終わったモデルの重みや活性化を、代表的なデータで値の範囲を調べてから低い精度に変える方法。PTQ。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「学習後量子化」
学習後量子化は、学習が終わったモデルの重み(と活性化)を、少量の代表的なデータで値の範囲を調べてから低い精度に変える方法で、手軽ですが、ビット数を減らすほど精度が落ちやすくなります。
学習後量子化(PTQ)と、量子化を考慮した学習(QAT)の違いとして正しいものはどれか。
「学習後量子化」が出てくる問題(2問)
関連する用語
量子化を考慮した学習 INT8 アテンション AIコンパイラ MFU 演算強度 演算の融合 オールリデュース ONNX 逆伝播