AI硬體與軟體堆疊
AI計算中使用的「運算融合(運算子融合)」,其主要目的為下列何者?
- A將多個運算合併為一個kernel,省去把中間結果寫入記憶體再重讀的負擔
- B將兩個AI模型合而為一,以提高答案的精度
- C把運算單元在物理上熔接在一起
查看答案與解析
正確答案:A. 將多個運算合併為一個kernel,省去把中間結果寫入記憶體再重讀的負擔
矩陣相乘之後,經常接著加上偏差、啟動函數、正規化等逐元素運算。若以不同的kernel分別進行,每次都要把中間結果寫入記憶體,再由下一個kernel重讀,因此花在記憶體讀寫上的時間比計算還多。若合併為一個kernel,就能把中間結果留在暫存器或晶片上的記憶體中繼續計算。
- A. 正確。對受記憶體限制的運算特別有效。
- B. 這不是把模型合體的事。
- C. 這不是物理上的加工。