KVキャッシュとは
けーぶいきゃっしゅ
大規模言語モデルの推論で、すでに処理したトークンのアテンションのKeyとValueを保存しておくメモリ。再計算を避けるが、文章の長さとバッチに比例して大きくなる。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「KVキャッシュ」
これがKVキャッシュです。
大規模言語モデルの推論で使われるKVキャッシュの役割として正しいものはどれか。推論ではこのほかに、途中の結果や大規模言語モデルのKVキャッシュのメモリも必要です。
パラメータ数70億(7B)のモデルの重みをFP16(2バイト)で持つと、重みのメモリはおよそいくらか。途中の結果やKVキャッシュのメモリもバッチに比例して増えます。
推論でバッチサイズを大きくしすぎたときの欠点として正しいものはどれか。