關於加速大型語言模型推論的「推測解碼（speculative decoding）」之概念，下列何者正確？

正確答案：B. 以小型模型預先草擬到數個token之後，再由大型模型一次集中驗證，將正確的部分一併採用

由於解碼受記憶體限制，無論大型模型計算1個token，還是集中計算數個token，讀取權重的時間幾乎相同。因此先由輕量的小型模型預測接下來的數個token，大型模型則以一次順向傳播集中確認，將正確的部分一併採用。若預測的命中率高，大型模型的呼叫次數就會減少，在不改變輸出品質的情況下變快。

• A. 猜測的答案必定會由大型模型加以確認。
• B. 正確。可以讓結果與單獨使用大型模型時相同。
• C. 大型模型是照原樣使用。