AI硬體與軟體堆疊
對於參數量為N的大型語言模型，產生1個token的推論所需的運算數，其參考值為下列何者（不含注意力的部分）？
- A約2N
- B約6N
- C約N²
查看答案與解析
正確答案：A. 約2N
在推論的順向傳播中，每個權重各進行1次與輸入的乘法和加總，因此每個token約為2N次運算。若是70億參數，1個token約為140億次。對現今的GPU而言這是很小的量，但解碼時在這段期間必須讀取14 GB的權重，因此決定時間的不是運算，而是記憶體頻寬。
- A. 正確。每個參數各進行1次乘法與加法。
- B. 6N是訓練時每個token的量。
- C. 不會是參數量的平方。