プリフィル란?
ぷりふぃる
大規模言語モデルの推論で、入力の文章のトークンをまとめて処理する最初の段階。演算律速になりやすい。続く1トークンずつの生成はデコードと呼ぶ。
일본어 명칭: プリフィル
분야: AI 하드웨어·소프트웨어 스택
ぷりふぃる
大規模言語モデルの推論で、入力の文章のトークンをまとめて処理する最初の段階。演算律速になりやすい。続く1トークンずつの生成はデコードと呼ぶ。
일본어 명칭: プリフィル
분야: AI 하드웨어·소프트웨어 스택
計算グラフ 勾配チェックポイント 構造化スパース 量子化を考慮した学習 逆伝播 演算強度 演算の融合 知識蒸留 推論 推論ランタイム