AI硬體與軟體堆疊
作為Transformer模型訓練所需運算數的參考，當參數量為N、訓練使用的token數為D時，常用的近似式為下列何者？
- A約2ND
- B約N+D
- C約6ND
查看答案與解析
正確答案：C. 約6ND
1個token的順向傳播，對每個參數各需1次乘法與加法，約需2N次運算。反向傳播約為其2倍，即4N次，因此1個token的訓練約需6N次，D個token則約需6ND次。例如以1兆個token訓練70億參數的模型，約為4.2×10²²次運算。將此除以GPU的實際效能，就能估算訓練所需的時間。
- A. 2ND只是順向傳播（推論）的量。
- B. 運算數是以乘法的方式增加。
- C. 正確。是順向傳播2ND與反向傳播4ND的合計。