AI硬體與軟體堆疊
大型語言模型推論中使用的KV快取，其作用下列何者正確？
- A保存常被問的問題與答案，對相同的問題立刻回答
- B將模型的所有權重放入CPU的快取記憶體
- C保存已處理過的token在注意力機制中的Key與Value，避免每次出現新token都要重新計算
查看答案與解析
正確答案：C. 保存已處理過的token在注意力機制中的Key與Value，避免每次出現新token都要重新計算
在注意力的計算中，新的token會參照之前所有token的Key與Value。先前token的Key與Value不會改變，因此若保存起來而不是每次重新計算，只需計算新token的部分即可。這就是KV快取。雖然能大幅減少計算，但所保存的Key與Value的量會隨文章長度與批次大小成正比增加。
- A. 這不是保存答案的機制。
- B. 與CPU的快取是不同的東西。
- C. 正確。以使用記憶體為代價，大幅減少計算。