AI硬體與軟體堆疊
關於AI加速器資料流方式之一的「權重固定(weight stationary)」,下列說明何者正確?
- A每次都從記憶體重新讀取權重,將輸入固定
- B將權重固定放在各運算單元內不動,讓輸入的值流過並依序計算乘加,以減少權重的讀取
- C不使用權重來計算
查看答案與解析
正確答案:B. 將權重固定放在各運算單元內不動,讓輸入的值流過並依序計算乘加,以減少權重的讀取
在矩陣相乘中,依據要將權重、輸入、輸出之中的哪一個留在運算單元內重複使用,資料的移動方式可分為幾種方式。在權重固定中,會為各運算單元各載入一個權重並固定,再讓大量輸入流入,持續進行乘加。在同一份權重可用於許多輸入的卷積,或批次大的計算中,能大幅減少讀取權重所需的能量。
- A. 固定輸入的是另一種方式。
- B. 正確。許多脈動陣列採用這種方式。
- C. 計算需要權重。