AI硬體與軟體堆疊

在卷積神經網路中,有時會用im2col等方法將卷積計算轉換為矩陣相乘來計算,其原因下列何者正確?

  1. A因為轉換後運算次數會變為十分之一
  2. B因為可以使用高度最佳化的矩陣相乘函式庫,以及張量核心等矩陣運算單元
  3. C因為轉換後記憶體使用量必定減少
查看答案與解析

正確答案:B. 因為可以使用高度最佳化的矩陣相乘函式庫,以及張量核心等矩陣運算單元

im2col是建立一個大矩陣,把進入卷積各個視窗的輸入值排成一欄,再以與排列濾波器的矩陣相乘來計算卷積的方法。雖然視窗重疊的部分會使輸入重複而增加記憶體,但可以直接使用數十年來持續最佳化的矩陣相乘函式庫,以及張量核心這類矩陣運算單元,因此整體而言通常會變快。也有不產生重複而達成相同效果的實作。

  • A. 運算次數不會改變。
  • B. 正確。不過因為要重新排列輸入,記憶體會增加。
  • C. im2col會重複排列輸入,所以記憶體反而增加。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 訓練後量化(PTQ)與量化感知訓練(QAT)的差異,下列何者正確?
  2. 在將啟動值量化為INT8的訓練後量化中,所進行的「校準(calibration)」之目的,下列何者正確?
  3. 在大型語言模型的量化中,若只有極少數通道存在很大的離群值,精度容易下降。下列何者是常見的對策?
  4. 在大型語言模型的推論中,啟動值維持FP16、只把權重轉為4位元的量化(W4A16),對加速解碼特別有效,其原因下列何者正確?
  5. 關於神經網路的剪枝(pruning),下列何者正確?