컴퓨터 산술

AI 추론에서 가중치를 FP32에서 INT8로 변환(양자화)하는 주된 이점은 무엇입니까?

  1. A계산 정밀도가 FP32보다 반드시 높아진다
  2. B데이터양이 4분의 1이 되어 빠르고 저전력으로 계산할 수 있다
  3. C학습을 다시 하지 않아도 모델 성능이 반드시 향상된다
정답과 해설 보기

정답: B. 데이터양이 4분의 1이 되어 빠르고 저전력으로 계산할 수 있다

32비트 가중치를 8비트로 하면 메모리 사용량과 읽어 들이는 양이 4분의 1이 되어, 메모리 대역폭이 제한된 추론에서 큰 효과가 있습니다. 또한 8비트 정수 곱셈기는 부동소수점 곱셈기보다 훨씬 작고 저전력이므로 같은 면적과 전력으로 더 많은 연산을 할 수 있습니다. 그 대신 표현할 수 있는 값이 256가지로 제한되므로 오차가 생겨 정밀도가 조금 떨어질 수 있습니다. 정밀도가 올라가거나 성능이 반드시 향상되는 것은 아닙니다.

이 분야 연습하기 분야로 돌아가기

컴퓨터 산술의 다른 문제

  1. 값의 범위가 −6.35~6.35인 데이터를 0을 중심으로 한 대칭 INT8(−127~127)로 양자화합니다. 스케일을 「최대 절댓값 ÷ 127」로 하면 1.0은 어떤 정수로 나타내집니까?
  2. 소형 마이컴이나 DSP에서 부동소수점이 아니라 고정소수점 연산이 자주 사용되는 주된 이유는 무엇입니까?
  3. 16비트 부호 있는 고정소수점의 Q15 형식(소수부 15비트)으로 나타낼 수 있는 값의 간격(분해능)과 범위의 조합으로 올바른 것은 무엇입니까?
  4. 소수부 8비트의 고정소수점수끼리를 정수 곱셈기로 곱했을 때 결과의 처리로 올바른 것은 무엇입니까?
  5. 신호 처리에서 사용되는 포화 연산의 설명으로 올바른 것은 무엇입니까?