AI硬體與軟體堆疊
將上一題的7B模型從FP16（約14 GB）量化為4位元整數（INT4），權重的記憶體大約是多少？
- A約7 GB
- B約1.75 GB
- C約3.5 GB
查看答案與解析
正確答案：C. 約3.5 GB
每個參數從16位元變成4位元，因此記憶體變為四分之一，約3.5 GB（實際上還會多一些量化縮放比例等資訊）。由於記憶體變小，即使在個人電腦或智慧型手機上也能執行大型模型，而且從記憶體讀取的量減少，推論也會變快。如何減少精度的下降成為重要課題。
- A. 這是INT8（8位元）的情形。
- B. 這是2位元的情形。
- C. 正確。從16位元到4位元，為四分之一。