什麼是預填充（Prefill）

在大型語言模型的推論中，一併處理輸入文章之詞元的最初階段。容易受運算限制。接下來逐一詞元的生成稱為解碼。

日文名稱: プリフィル

「預填充（Prefill）」出現在1領域的2道練習題中（AI硬體與軟體堆疊等）。

這個名詞所屬的領域: AI硬體與軟體堆疊

練習預填充（Prefill）的題目

大型語言模型的推論分為集中處理輸入文章的階段（預填充）與逐一產生一個token輸出的階段（解碼）。下列何者是分別主要決定兩者效能之因素的正確組合（批次較小的情形）？

  1. A預填充是記憶體頻寬，解碼是運算效能
  2. B預填充是運算效能，解碼是記憶體頻寬
  3. C兩者都是儲存裝置的速度
查看答案與解析

正確答案：B. 預填充是運算效能，解碼是記憶體頻寬

預填充會將輸入的數百至數千個token集中計算，因此權重可由許多token重複使用，成為矩陣與矩陣的乘積，受運算限制。解碼每產生一個token，就要讀取所有權重，卻只做一個token份的計算，因此運算強度低，受記憶體限制。所以解碼的速度大致由記憶體頻寬÷權重大小決定。

解析中的「預填充（Prefill）」

出現「預填充（Prefill）」的題目（2題）

  1. 大型語言模型的推論分為集中處理輸入文章的階段（預填充）與逐一產生一個token輸出的階段（解碼）。下列何者是分別主要決定兩者效能之因素的正確組合（批次較小的情形）？
  2. 在大型語言模型的推論中，啟動值維持FP16、只把權重轉為4位元的量化（W4A16），對加速解碼特別有效，其原因下列何者正確？

相關名詞

運算強度（Arithmetic intensity） 反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization） 剪枝（Pruning） 張量平行（Tensor parallelism）

前往名詞解釋列表