AI硬體與軟體堆疊
關於神經網路的剪枝(pruning),下列何者正確?
- A是將不重要的權重設為0而加以削減的方法,其中零散地設為0的非結構化方式,難以靠硬體加速
- B是增加權重而必定提高模型精度的方法
- C是減少訓練資料的方法
查看答案與解析
正確答案:A. 是將不重要的權重設為0而加以削減的方法,其中零散地設為0的非結構化方式,難以靠硬體加速
剪枝是將數值很小等影響較小的權重設為0,以減少計算與記憶體的方法。然而,若0零散分布,就要花功夫去找出哪裡是0,而矩陣運算單元與記憶體是以成塊的單位運作,因此實際上不太會變快。若是依通道或層,或以固定形式設為0的結構化剪枝,就容易靠硬體加速。
- A. 正確。也有以固定形式設為0的結構化方式。
- B. 它是減少權重的方法。
- C. 減少的不是資料,而是權重。