AI硬體與軟體堆疊

關於AI加速器資料流方式之一的「權重固定(weight stationary)」,下列說明何者正確?

  1. A每次都從記憶體重新讀取權重,將輸入固定
  2. B將權重固定放在各運算單元內不動,讓輸入的值流過並依序計算乘加,以減少權重的讀取
  3. C不使用權重來計算
查看答案與解析

正確答案:B. 將權重固定放在各運算單元內不動,讓輸入的值流過並依序計算乘加,以減少權重的讀取

在矩陣相乘中,依據要將權重、輸入、輸出之中的哪一個留在運算單元內重複使用,資料的移動方式可分為幾種方式。在權重固定中,會為各運算單元各載入一個權重並固定,再讓大量輸入流入,持續進行乘加。在同一份權重可用於許多輸入的卷積,或批次大的計算中,能大幅減少讀取權重所需的能量。

  • A. 固定輸入的是另一種方式。
  • B. 正確。許多脈動陣列採用這種方式。
  • C. 計算需要權重。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 在智慧型手機等裝置內(邊緣)而非雲端伺服器進行AI推論的優點,下列何者「不」適用?
  2. 智慧型手機SoC上搭載的NPU,在AI推論上比CPU電力效率高,其主要原因為下列何者?
  3. 關於AI加速器效能所標示的「○○ TOPS」這個數值,應注意的地方下列何者正確?
  4. 關於表示大規模訓練效率的指標MFU(Model FLOPs Utilization),下列說明何者正確?
  5. 作為Transformer模型訓練所需運算數的參考,當參數量為N、訓練使用的token數為D時,常用的近似式為下列何者?