KVキャッシュ란?

けーぶいきゃっしゅ

大規模言語モデルの推論で、すでに処理したトークンのアテンションのKeyとValueを保存しておくメモリ。再計算を避けるが、文章の長さとバッチに比例して大きくなる。

일본어 명칭: KVキャッシュ