AI硬體與軟體堆疊

關於神經網路的剪枝(pruning),下列何者正確?

  1. A是將不重要的權重設為0而加以削減的方法,其中零散地設為0的非結構化方式,難以靠硬體加速
  2. B是增加權重而必定提高模型精度的方法
  3. C是減少訓練資料的方法
查看答案與解析

正確答案:A. 是將不重要的權重設為0而加以削減的方法,其中零散地設為0的非結構化方式,難以靠硬體加速

剪枝是將數值很小等影響較小的權重設為0,以減少計算與記憶體的方法。然而,若0零散分布,就要花功夫去找出哪裡是0,而矩陣運算單元與記憶體是以成塊的單位運作,因此實際上不太會變快。若是依通道或層,或以固定形式設為0的結構化剪枝,就容易靠硬體加速。

  • A. 正確。也有以固定形式設為0的結構化方式。
  • B. 它是減少權重的方法。
  • C. 減少的不是資料,而是權重。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 關於GPU的矩陣運算單元所支援的「2:4結構化稀疏」,下列說明何者正確?
  2. 關於知識蒸餾(knowledge distillation),下列說明何者正確?
  3. 關於以多顆GPU訓練的資料平行,下列說明何者正確?
  4. 關於將無法放進單一GPU記憶體的大型層之矩陣相乘,分給多顆GPU計算的張量平行,下列說明何者正確?
  5. 在將模型的層依序分給多顆GPU負責的管線平行中,把批次分成較小的微批次(micro-batch)來傳遞,其理由下列何者正確?