AI硬體與軟體堆疊

在推論中加大批次大小(一次處理的輸入數量),整體效率容易提升,其原因為下列何者?

  1. A因為輸入越多,每筆輸入的計算次數越少
  2. B因為加大批次會使權重的數量減少
  3. C因為讀取一次的權重可以用於多筆輸入的計算,運算強度提高,能有效運用運算單元
查看答案與解析

正確答案:C. 因為讀取一次的權重可以用於多筆輸入的計算,運算強度提高,能有效運用運算單元

若批次大小為B,權重矩陣與B個向量的乘積,就變成權重矩陣與寬度為B的矩陣的乘積。權重的讀取不變,運算卻變為B倍,因此運算強度也約變為B倍,從受記憶體限制趨近於受運算限制。在伺服器上的推論,是藉由將許多使用者的請求集中處理,來有效率地運用GPU。

  • A. 每筆輸入的計算次數不會改變。
  • B. 權重的數量不會改變。
  • C. 正確。矩陣與向量的乘積變成矩陣與矩陣的乘積。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 在推論中將批次大小加得過大時的缺點,下列何者正確?
  2. 大型語言模型的推論分為集中處理輸入文章的階段(預填充)與逐一產生一個token輸出的階段(解碼)。下列何者是分別主要決定兩者效能之因素的正確組合(批次較小的情形)?
  3. 大型語言模型推論中使用的KV快取,其作用下列何者正確?
  4. 在大型語言模型的推論中處理長文章或大批次時,容易成為問題的是下列何者?
  5. 以記憶體頻寬2 TB/s的GPU,在批次大小為1的情況下,對權重為FP16約14 GB的模型進行解碼。產生1個token所需時間的下限最接近下列何者?