AI硬體與軟體堆疊
以FP32（4位元組）持有權重、梯度與Adam的兩個狀態，來訓練參數量70億（7B）的模型。排除啟動值後，所需記憶體最接近下列何者？
- A約28 GB
- B約112 GB
- C約14 GB
查看答案與解析
正確答案：B. 約112 GB
每個參數需要權重4位元組、梯度4位元組、Adam的一階與二階移動平均各4位元組，合計16位元組。70億×16位元組＝1120億位元組，約為112 GB，再加上啟動值的記憶體。這通常無法放進一張GPU的記憶體，因此會採用將優化器的狀態分散到多顆GPU上持有、以較低的精度持有等做法。
- A. 這只是權重的量。
- B. 正確。每個參數為16位元組。
- C. 這只是FP16權重的量。