INT8とは
いんとはち
8ビットの符号付き整数(−128〜127)。AIの推論で、重みや活性化の値をスケールを掛けてINT8に変換(量子化)すると、計算とメモリが大きく減り、整数の小さな回路で高速に処理できる。
この用語の分野: 計算機算術
解説の中の「INT8」
そこで、実際の使い方に近い入力を数百件ほど流して、各層の活性化がとる値の範囲や分布を調べ、どの範囲をINT8の-127〜127に対応させるか(スケール)を決めます。
活性化をINT8に量子化する学習後量子化で行う「キャリブレーション」の目的として正しいものはどれか。FP16やBF16、FP8、INT8などの低い精度で使うことが多く、ニューラルネットワークの学習と推論の大部分を占める行列の積を大きく速くします。
最近のGPUに搭載されているテンソルコア(行列演算ユニット)の特徴として正しいものはどれか。TOPS(1秒あたりの兆回の演算)は、全部の演算器が休みなく動いたときの理論上の値で、多くはINT8やそれより低い精度で数えられ、スパースを使った場合の値のこともあります。
AIのアクセラレータの性能として示される「○○ TOPS」という値について注意すべき点として正しいものはどれか。
「INT8」が出てくる問題(5問)
関連する用語
推論 学習後量子化 GPU テンソルコア FP8 TOPS IEEE 754 ウォレスツリー FMA(融合積和演算) 仮数