대규모 언어 모델의 양자화에서 극히 일부 채널에 큰 이상치가 있으면 정확도가 떨어지기 쉽다. 대책으로 일반적인 것은 무엇인가?

정답: C. 텐서 전체에서 하나의 스케일이 아니라 채널별 또는 작은 그룹별로 스케일을 가진다

텐서 전체를 하나의 스케일로 양자화하면 극히 일부의 큰 이상치에 맞춰 범위가 넓어져, 나머지 대다수의 작은 값이 적은 단계로만 표현됩니다. 채널별 또는 64~128개 요소 그룹별로 스케일을 가지면 이상치의 영향이 그 그룹 안에만 머뭅니다. 이상치를 가중치 쪽으로 옮긴 뒤 양자화하는 방법 등 다른 기법도 사용됩니다.

• A. 필요한 정보가 사라져 정확도가 크게 떨어집니다.
• B. 비트 수를 줄이면 정확도가 더욱 떨어집니다.
• C. 정답입니다. 이상치의 영향을 그 범위 안에 가둡니다.