AI硬體與軟體堆疊
在推論中加大批次大小(一次處理的輸入數量),整體效率容易提升,其原因為下列何者?
- A因為輸入越多,每筆輸入的計算次數越少
- B因為加大批次會使權重的數量減少
- C因為讀取一次的權重可以用於多筆輸入的計算,運算強度提高,能有效運用運算單元
查看答案與解析
正確答案:C. 因為讀取一次的權重可以用於多筆輸入的計算,運算強度提高,能有效運用運算單元
若批次大小為B,權重矩陣與B個向量的乘積,就變成權重矩陣與寬度為B的矩陣的乘積。權重的讀取不變,運算卻變為B倍,因此運算強度也約變為B倍,從受記憶體限制趨近於受運算限制。在伺服器上的推論,是藉由將許多使用者的請求集中處理,來有效率地運用GPU。
- A. 每筆輸入的計算次數不會改變。
- B. 權重的數量不會改變。
- C. 正確。矩陣與向量的乘積變成矩陣與矩陣的乘積。