AI硬體與軟體堆疊

AI加速器有時會在晶片上搭載大容量的SRAM(數十~數百MB),其主要原因為下列何者?

  1. A因為SRAM即使切斷電源,資料也不會消失
  2. B因為SRAM每位元比DRAM便宜
  3. C為了將權重與中間結果放在晶片內反覆使用,減少對速度慢且耗電的外部記憶體之存取
查看答案與解析

正確答案:C. 為了將權重與中間結果放在晶片內反覆使用,減少對速度慢且耗電的外部記憶體之存取

從晶片外的DRAM讀取一次資料所需的能量,可達一次乘加運算的數十至數百倍。若把資料放在晶片上的SRAM中反覆使用,對外部記憶體的存取就會減少,速度與能源效率都會提升。不過SRAM佔用面積大且昂貴,因此要搭載多少,取決於所處理模型的大小與成本之間的平衡。

  • A. SRAM是揮發性的,切斷電源就會消失。
  • B. SRAM每位元比DRAM貴得多。
  • C. 正確。資料的移動比計算消耗更多能量。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 關於AI加速器資料流方式之一的「權重固定(weight stationary)」,下列說明何者正確?
  2. 在智慧型手機等裝置內(邊緣)而非雲端伺服器進行AI推論的優點,下列何者「不」適用?
  3. 智慧型手機SoC上搭載的NPU,在AI推論上比CPU電力效率高,其主要原因為下列何者?
  4. 關於AI加速器效能所標示的「○○ TOPS」這個數值,應注意的地方下列何者正確?
  5. 關於表示大規模訓練效率的指標MFU(Model FLOPs Utilization),下列說明何者正確?