大型語言模型的推論分為集中處理輸入文章的階段（預填充）與逐一產生一個token輸出的階段（解碼）。下列何者是分別主要決定兩者效能之因素的正確組合（批次較小的情形）？

正確答案：B. 預填充是運算效能，解碼是記憶體頻寬

預填充會將輸入的數百至數千個token集中計算，因此權重可由許多token重複使用，成為矩陣與矩陣的乘積，受運算限制。解碼每產生一個token，就要讀取所有權重，卻只做一個token份的計算，因此運算強度低，受記憶體限制。所以解碼的速度大致由記憶體頻寬÷權重大小決定。

• A. 正好相反。
• B. 正確。解碼每個token都要讀取全部的權重。
• C. 推論時權重是放在記憶體中。