知識蒸留란?

ちしきじょうりゅう

大きな教師モデルの出力をまねるように小さな生徒モデルを学習させ、小さなモデルで近い性能を得る方法。

일본어 명칭: 知識蒸留

분야: AI 하드웨어·소프트웨어 스택

관련 용어

計算グラフ 勾配チェックポイント 構造化スパース 量子化を考慮した学習 逆伝播 演算強度 演算の融合 推論 推論ランタイム 投機的デコーディング

용어집으로 돌아가기