대규모 언어 모델의 추론에서 활성화는 FP16 그대로 두고 가중치만 4비트로 하는(W4A16) 양자화가 디코드를 특히 빠르게 하는 이유로 올바른 것은 무엇인가?

정답: B. 디코드는 메모리 율속이므로, 가중치 읽기 양이 4분의 1이 되는 효과가 그대로 속도에 나타나기 때문

디코드는 토큰마다 모든 가중치를 읽는, 메모리 대역폭으로 속도가 결정되는 처리입니다. 가중치를 4비트로 하면 읽는 양이 4분의 1이 되고, 칩 안에서 FP16으로 되돌린 뒤 계산하더라도 전체 시간은 크게 짧아집니다. 연산 율속인 프리필에서는 이 효과가 작고, 계산 자체를 낮은 정밀도로 수행하는 양자화가 더 효과적입니다. 어디가 율속인지에 따라 유효한 양자화 방법이 달라집니다.

• A. 정밀도는 낮아집니다.
• B. 정답입니다. 계산은 FP16으로 되돌려 수행해도 읽기가 줄어듭니다.
• C. 연산 횟수는 변하지 않습니다.