プリフィルとは
ぷりふぃる
大規模言語モデルの推論で、入力の文章のトークンをまとめて処理する最初の段階。演算律速になりやすい。続く1トークンずつの生成はデコードと呼ぶ。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「プリフィル」
プリフィルでは、入力の数百〜数千のトークンをまとめて計算するので、重みを多くのトークンで再利用でき、行列どうしの積になって演算律速になります。
大規模言語モデルの推論は、入力の文章をまとめて処理する段階(プリフィル)と、1トークンずつ出力を作る段階(デコード)に…演算律速のプリフィルではこの効果は小さく、計算そのものを低い精度で行う量子化の方が効きます。
大規模言語モデルの推論で、活性化はFP16のまま重みだけを4ビットにする(W4A16)量子化が、デコードを特に速くする…