AIハードウェアとソフトウェアスタック
知識蒸留(ナレッジディスティレーション)の説明として正しいものはどれか。
- Aモデルの重みを加熱して蒸発させ、小さくする
- B学習データを蒸留水で洗う
- C大きな教師モデルの出力をまねるように小さな生徒モデルを学習させ、小さなモデルで近い性能を得る
答えと解説を見る
正解：C. 大きな教師モデルの出力をまねるように小さな生徒モデルを学習させ、小さなモデルで近い性能を得る
知識蒸留では、すでに学習した大きなモデル(教師)が出す答えの確率の分布などを目標にして、小さなモデル(生徒)を学習させます。正解のラベルだけでなく、教師が「どの答えがどれくらいありそうか」と考えた情報も学べるので、小さなモデルでも元のモデルに近い性能が得られます。推論の計算とメモリを減らす方法として、量子化やプルーニングと組み合わせて使われます。
- A. 物理的な処理ではありません。
- B. 化学の蒸留とは関係ありません。
- C. 正しい。推論の計算とメモリを減らせます。