AI硬體與軟體堆疊

在智慧型手機等裝置內(邊緣)而非雲端伺服器進行AI推論的優點,下列何者「不」適用?

  1. A在裝置內的話,再大的模型都能不受限制地執行
  2. B不必等待通訊,所以回應快,在無法通訊的地方也能使用
  3. C資料不會傳送到外部,所以容易保護隱私
查看答案與解析

正確答案:A. 在裝置內的話,再大的模型都能不受限制地執行

在邊緣進行推論,有沒有通訊延遲、沒有通訊也能運作、照片或語音等資料不必傳送到外部、不需要伺服器費用等優點。另一方面,裝置的記憶體、電池與發熱有嚴格的限制,因此大型模型無法直接執行。要藉由量化、蒸餾為小型模型、使用NPU這類電力效率高的專用電路,在限制之中讓它運作。

  • A. 正確。裝置在記憶體與電力上有很強的限制。
  • B. 這是邊緣的優點。
  • C. 這是邊緣的優點。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 智慧型手機SoC上搭載的NPU,在AI推論上比CPU電力效率高,其主要原因為下列何者?
  2. 關於AI加速器效能所標示的「○○ TOPS」這個數值,應注意的地方下列何者正確?
  3. 關於表示大規模訓練效率的指標MFU(Model FLOPs Utilization),下列說明何者正確?
  4. 作為Transformer模型訓練所需運算數的參考,當參數量為N、訓練使用的token數為D時,常用的近似式為下列何者?
  5. 對於參數量為N的大型語言模型,產生1個token的推論所需的運算數,其參考值為下列何者(不含注意力的部分)?