AI硬體與軟體堆疊
關於GPU的矩陣運算單元所支援的「2:4結構化稀疏」,下列說明何者正確?
- A將權重每4個分為一組,每組中有2個設為0的固定形式稀疏,矩陣運算單元可跳過0,最多約能以2倍的速度計算
- B從權重中每次隨機選出四分之二來計算
- C將矩陣分成2列4行來計算
查看答案與解析
正確答案:A. 將權重每4個分為一組,每組中有2個設為0的固定形式稀疏,矩陣運算單元可跳過0,最多約能以2倍的速度計算
在2:4稀疏中,會透過訓練或調整,使連續4個權重之中必定有2個為0。只需持有非0的2個值,以及表示其位置的少量資訊,因此記憶體減少,矩陣運算單元可跳過0的乘法,以約2倍的速度計算。藉由採用固定形式,實現了零散稀疏難以達成的硬體加速。
- A. 正確。0的位置可用少量資訊表示。
- B. 並不是隨機選擇。
- C. 這不是矩陣如何劃分的問題。