AI硬體與軟體堆疊
以三選一題型學習推論與訓練的差異、量化、運算強度與Roofline模型、脈動陣列、運算融合與分塊(tiling)等AI的硬體與軟體。
—你的答對率
0 / 0已作答的題目
這個領域的題目準備中。
AI硬體與軟體堆疊的重點
神經網路的計算,大部分是大型矩陣的乘法與加法。因此AI用的硬體,是以排列大量乘加運算單元,並盡可能重複利用資料以減少與記憶體往來的方式設計的。訓練比推論需要更多的計算量與記憶體,也需要高精度的數值。
決定效能的不只是運算單元的數量。利用每位元組資料的計算量(運算強度)與Roofline模型,可以判斷瓶頸是在運算還是在記憶體頻寬。本單元也學習量化、運算融合、分塊等AI編譯器與推論執行環境發揮硬體能力的機制。