AI硬體與軟體堆疊
XLA、TVM、PyTorch的編譯功能這類AI編譯器所進行的主要處理,下列何者正確?
- A將AI模型的答案翻譯成人類的語言
- B自動蒐集訓練用的資料
- C分析模型的計算圖,將運算融合、資料排列方式、圖塊劃分等加以最佳化,產生適用於目標硬體的程式碼
查看答案與解析
正確答案:C. 分析模型的計算圖,將運算融合、資料排列方式、圖塊劃分等加以最佳化,產生適用於目標硬體的程式碼
AI編譯器將模型視為運算與資料流動的計算圖來接收,進行可合併運算的融合、不必要計算的刪除、記憶體排列方式的選擇、圖塊大小的調整等,並產生適合GPU或NPU等目標的kernel。即使是相同的模型,也能針對各硬體自動產生最佳的程式碼,因此可大幅減少手動最佳化的功夫。
- A. 與自然語言的翻譯無關。
- B. 它不是蒐集資料的工具。
- C. 正確。是用來發揮硬體效能的工具。