AIハードウェアとソフトウェアスタック
パラメータ数Nの大規模言語モデルで、1トークンを生成する推論に必要な演算の数の目安はどれか(アテンションの部分を除く)。
- A約2N
- B約6N
- C約N²
答えと解説を見る
正解：A. 約2N
推論の順伝播では、各重みについて入力との掛け算と足し合わせを1回ずつ行うので、1トークンあたり約2N回の演算になります。70億パラメータなら1トークンで約140億回です。現在のGPUにとってこれは小さな量ですが、デコードではその間に14 GBの重みを読む必要があるので、時間を決めるのは演算ではなくメモリの帯域になります。
- A. 正しい。各パラメータで掛け算と足し算を1回ずつ行います。
- B. 6Nは学習の1トークンあたりの量です。
- C. パラメータ数の2乗にはなりません。