AI硬體與軟體堆疊

智慧型手機SoC上搭載的NPU,在AI推論上比CPU電力效率高,其主要原因為下列何者?

  1. A因為NPU不使用電力而是以光來計算
  2. B因為排列了大量INT8等低精度的乘加運算單元,並省去了AI計算不需要的通用電路
  3. C因為NPU必定以比CPU更高的時脈運作
查看答案與解析

正確答案:B. 因為排列了大量INT8等低精度的乘加運算單元,並省去了AI計算不需要的通用電路

CPU為了能執行任何事,每個指令都要驅動分支預測與指令重新排序等許多電路。NPU專精於矩陣的乘加,排列大量低精度的運算單元,並設計成讓資料在晶片內重複使用,因此每次運算所需的能量小了好幾個數量級。相對地,它不適合AI以外的處理,或不支援的運算。

  • A. 一般的NPU是電子電路。
  • B. 正確。藉由專用化提高每瓦的運算數。
  • C. 時脈反而多半偏低。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 關於AI加速器效能所標示的「○○ TOPS」這個數值,應注意的地方下列何者正確?
  2. 關於表示大規模訓練效率的指標MFU(Model FLOPs Utilization),下列說明何者正確?
  3. 作為Transformer模型訓練所需運算數的參考,當參數量為N、訓練使用的token數為D時,常用的近似式為下列何者?
  4. 對於參數量為N的大型語言模型,產生1個token的推論所需的運算數,其參考值為下列何者(不含注意力的部分)?
  5. 計算softmax函數exp(xi)/Σexp(xj)時,常先從各xi減去最大值再計算,其原因下列何者正確?