AI硬體與軟體堆疊

AI計算中使用的「運算融合(運算子融合)」,其主要目的為下列何者?

  1. A將多個運算合併為一個kernel,省去把中間結果寫入記憶體再重讀的負擔
  2. B將兩個AI模型合而為一,以提高答案的精度
  3. C把運算單元在物理上熔接在一起
查看答案與解析

正確答案:A. 將多個運算合併為一個kernel,省去把中間結果寫入記憶體再重讀的負擔

矩陣相乘之後,經常接著加上偏差、啟動函數、正規化等逐元素運算。若以不同的kernel分別進行,每次都要把中間結果寫入記憶體,再由下一個kernel重讀,因此花在記憶體讀寫上的時間比計算還多。若合併為一個kernel,就能把中間結果留在暫存器或晶片上的記憶體中繼續計算。

  • A. 正確。對受記憶體限制的運算特別有效。
  • B. 這不是把模型合體的事。
  • C. 這不是物理上的加工。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 將矩陣相乘的結果加上偏差、再通過ReLU的處理,從3個各別的kernel融合為1個。主要減少的是下列何者?
  2. XLA、TVM、PyTorch的編譯功能這類AI編譯器所進行的主要處理,下列何者正確?
  3. AI框架或編譯器中使用的「計算圖」,下列說明何者正確?
  4. 關於ONNX,下列說明何者正確?
  5. TensorRT或ONNX Runtime這類推論執行環境,比直接用訓練用框架進行推論更快,其主要原因為下列何者?