AI硬體與軟體堆疊
在智慧型手機等裝置內(邊緣)而非雲端伺服器進行AI推論的優點,下列何者「不」適用?
- A在裝置內的話,再大的模型都能不受限制地執行
- B不必等待通訊,所以回應快,在無法通訊的地方也能使用
- C資料不會傳送到外部,所以容易保護隱私
查看答案與解析
正確答案:A. 在裝置內的話,再大的模型都能不受限制地執行
在邊緣進行推論,有沒有通訊延遲、沒有通訊也能運作、照片或語音等資料不必傳送到外部、不需要伺服器費用等優點。另一方面,裝置的記憶體、電池與發熱有嚴格的限制,因此大型模型無法直接執行。要藉由量化、蒸餾為小型模型、使用NPU這類電力效率高的專用電路,在限制之中讓它運作。
- A. 正確。裝置在記憶體與電力上有很強的限制。
- B. 這是邊緣的優點。
- C. 這是邊緣的優點。