AI硬體與軟體堆疊
若以FP16（2位元組）持有參數量70億（7B）的模型權重，權重的記憶體大約是多少？
- A約14 GB
- B約7 GB
- C約28 GB
查看答案與解析
正確答案：A. 約14 GB
權重的記憶體可由參數數量×每個參數的位元組數求得。70億×2位元組＝140億位元組，約為14 GB。推論時，除此之外還需要中間結果，以及大型語言模型的KV快取所用的記憶體。要判斷模型能在哪種裝置或GPU上執行，首先就以這個計算來預估。
- A. 正確。70億×2位元組。
- B. 這是每個參數1位元組（INT8）時的值。
- C. 這是FP32（4位元組）時的值。