AI硬體與軟體堆疊

XLA、TVM、PyTorch的編譯功能這類AI編譯器所進行的主要處理,下列何者正確?

  1. A將AI模型的答案翻譯成人類的語言
  2. B自動蒐集訓練用的資料
  3. C分析模型的計算圖,將運算融合、資料排列方式、圖塊劃分等加以最佳化,產生適用於目標硬體的程式碼
查看答案與解析

正確答案:C. 分析模型的計算圖,將運算融合、資料排列方式、圖塊劃分等加以最佳化,產生適用於目標硬體的程式碼

AI編譯器將模型視為運算與資料流動的計算圖來接收,進行可合併運算的融合、不必要計算的刪除、記憶體排列方式的選擇、圖塊大小的調整等,並產生適合GPU或NPU等目標的kernel。即使是相同的模型,也能針對各硬體自動產生最佳的程式碼,因此可大幅減少手動最佳化的功夫。

  • A. 與自然語言的翻譯無關。
  • B. 它不是蒐集資料的工具。
  • C. 正確。是用來發揮硬體效能的工具。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. AI框架或編譯器中使用的「計算圖」,下列說明何者正確?
  2. 關於ONNX,下列說明何者正確?
  3. TensorRT或ONNX Runtime這類推論執行環境,比直接用訓練用框架進行推論更快,其主要原因為下列何者?
  4. ReLU或層正規化這類逐元素運算,在AI的計算中相對於運算次數而言容易耗費時間,其原因下列何者正確?
  5. 在卷積神經網路中,有時會用im2col等方法將卷積計算轉換為矩陣相乘來計算,其原因下列何者正確?