大規模言語モデルの量子化で、ごく一部のチャネルに大きな外れ値があると精度が落ちやすい。対策として一般的なものはどれか。

正解：C. テンソル全体で1つのスケールではなく、チャネルごとや小さなグループごとにスケールを持つ

テンソル全体を1つのスケールで量子化すると、ごく一部の大きな外れ値に合わせて範囲が広がり、ほかの大多数の小さな値が少ない段階でしか表せなくなります。チャネルごとや64〜128要素のグループごとにスケールを持てば、外れ値の影響はそのグループの中だけにとどまります。外れ値を重みの側へ移してから量子化する方法など、ほかの工夫も使われています。

• A. 必要な情報が失われ、精度が大きく落ちます。
• B. ビット数を減らすと、さらに精度が落ちます。
• C. 正しい。外れ値の影響をその範囲に閉じ込めます。