AIハードウェアとソフトウェアスタック
大規模言語モデルの推論で、長い文章や大きなバッチを扱うときに問題になりやすいことはどれか。
- A重みの数が文章の長さに比例して増える
- BKVキャッシュのメモリが文章の長さとバッチの大きさに比例して増え、重みより大きくなることもある
- Cトークンの数が増えると、モデルの答えが必ず短くなる
答えと解説を見る
正解：B. KVキャッシュのメモリが文章の長さとバッチの大きさに比例して増え、重みより大きくなることもある
KVキャッシュの大きさは、層の数×KeyとValueの次元×トークンの数×バッチの大きさ×1要素のバイト数で決まります。数万トークンの長い文章や多数の同時の要求では、これが数十GBになり、重みのメモリを超えることもあります。そのため、KVキャッシュを低い精度で持つ、複数のヘッドでKeyとValueを共有する、メモリを細かいブロックで管理する、などの工夫が使われます。
- A. 重みの数は一定です。
- B. 正しい。KVキャッシュの圧縮や量子化などの工夫が使われます。
- C. 答えの長さとは関係ありません。