在大型語言模型的推論中處理長文章或大批次時，容易成為問題的是下列何者？

正確答案：B. KV快取的記憶體隨文章長度與批次大小成正比增加，有時會比權重還大

KV快取的大小，由層數×Key與Value的維度×token數×批次大小×每個元素的位元組數決定。在數萬token的長文章或大量同時請求的情況下，這可能達到數十GB，甚至超過權重的記憶體。因此會採用以較低的精度持有KV快取、由多個注意力頭共用Key與Value、以細小的區塊管理記憶體等做法。

• A. 權重的數量是固定的。
• B. 正確。會採用KV快取的壓縮與量化等做法。
• C. 與回答的長度無關。