知識蒸留とは
ちしきじょうりゅう
大きな教師モデルの出力をまねるように小さな生徒モデルを学習させ、小さなモデルで近い性能を得る方法。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「知識蒸留」
知識蒸留では、すでに学習した大きなモデル(教師)が出す答えの確率の分布などを目標にして、小さなモデル(生徒)を学習させます。
知識蒸留(ナレッジディスティレーション)の説明として正しいものはどれか。
「知識蒸留」が出てくる問題(1問)
関連する用語
推論 プルーニング アテンション AIコンパイラ MFU 演算強度 演算の融合 オールリデュース ONNX 学習後量子化