AI硬體與軟體堆疊

將矩陣相乘的結果加上偏差、再通過ReLU的處理,從3個各別的kernel融合為1個。主要減少的是下列何者?

  1. A乘法的次數
  2. B對記憶體(HBM等)的讀寫量,以及kernel的啟動次數
  3. C模型的權重數量
查看答案與解析

正確答案:B. 對記憶體(HBM等)的讀寫量,以及kernel的啟動次數

在各別的kernel中,矩陣相乘的結果會寫入記憶體,偏差的kernel讀取後再寫入,ReLU的kernel又再讀取後寫入。融合之後,在求得矩陣相乘結果的當下就加上偏差並通過ReLU,只需寫入最終結果即可,因此中間的大型張量少了兩個來回的讀寫,啟動的負擔也減少。計算量本身不變。

  • A. 矩陣相乘的乘法次數相同。
  • B. 正確。計算量不變。
  • C. 權重的數量不變。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. XLA、TVM、PyTorch的編譯功能這類AI編譯器所進行的主要處理,下列何者正確?
  2. AI框架或編譯器中使用的「計算圖」,下列說明何者正確?
  3. 關於ONNX,下列說明何者正確?
  4. TensorRT或ONNX Runtime這類推論執行環境,比直接用訓練用框架進行推論更快,其主要原因為下列何者?
  5. ReLU或層正規化這類逐元素運算,在AI的計算中相對於運算次數而言容易耗費時間,其原因下列何者正確?