AI硬體與軟體堆疊
將矩陣相乘的結果加上偏差、再通過ReLU的處理,從3個各別的kernel融合為1個。主要減少的是下列何者?
- A乘法的次數
- B對記憶體(HBM等)的讀寫量,以及kernel的啟動次數
- C模型的權重數量
查看答案與解析
正確答案:B. 對記憶體(HBM等)的讀寫量,以及kernel的啟動次數
在各別的kernel中,矩陣相乘的結果會寫入記憶體,偏差的kernel讀取後再寫入,ReLU的kernel又再讀取後寫入。融合之後,在求得矩陣相乘結果的當下就加上偏差並通過ReLU,只需寫入最終結果即可,因此中間的大型張量少了兩個來回的讀寫,啟動的負擔也減少。計算量本身不變。
- A. 矩陣相乘的乘法次數相同。
- B. 正確。計算量不變。
- C. 權重的數量不變。