プリフィル란?

ぷりふぃる

大規模言語モデルの推論で、入力の文章のトークンをまとめて処理する最初の段階。演算律速になりやすい。続く1トークンずつの生成はデコードと呼ぶ。

일본어 명칭: プリフィル

분야: AI 하드웨어·소프트웨어 스택

관련 용어

計算グラフ 勾配チェックポイント 構造化スパース 量子化を考慮した学習 逆伝播 演算強度 演算の融合 知識蒸留 推論 推論ランタイム

용어집으로 돌아가기