AI硬體與軟體堆疊

關於GPU的矩陣運算單元所支援的「2:4結構化稀疏」,下列說明何者正確?

  1. A將權重每4個分為一組,每組中有2個設為0的固定形式稀疏,矩陣運算單元可跳過0,最多約能以2倍的速度計算
  2. B從權重中每次隨機選出四分之二來計算
  3. C將矩陣分成2列4行來計算
查看答案與解析

正確答案:A. 將權重每4個分為一組,每組中有2個設為0的固定形式稀疏,矩陣運算單元可跳過0,最多約能以2倍的速度計算

在2:4稀疏中,會透過訓練或調整,使連續4個權重之中必定有2個為0。只需持有非0的2個值,以及表示其位置的少量資訊,因此記憶體減少,矩陣運算單元可跳過0的乘法,以約2倍的速度計算。藉由採用固定形式,實現了零散稀疏難以達成的硬體加速。

  • A. 正確。0的位置可用少量資訊表示。
  • B. 並不是隨機選擇。
  • C. 這不是矩陣如何劃分的問題。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 關於知識蒸餾(knowledge distillation),下列說明何者正確?
  2. 關於以多顆GPU訓練的資料平行,下列說明何者正確?
  3. 關於將無法放進單一GPU記憶體的大型層之矩陣相乘,分給多顆GPU計算的張量平行,下列說明何者正確?
  4. 在將模型的層依序分給多顆GPU負責的管線平行中,把批次分成較小的微批次(micro-batch)來傳遞,其理由下列何者正確?
  5. 關於分散式訓練中使用的All-Reduce通訊之作用,下列何者正確?