AI 하드웨어·소프트웨어 스택

앞 문제의 7B 모델을 FP16(약 14 GB)에서 4비트 정수(INT4)로 양자화하면, 가중치 메모리는 대략 얼마가 되는가?

  1. A약 7 GB
  2. B약 1.75 GB
  3. C약 3.5 GB
정답과 해설 보기

정답: C. 약 3.5 GB

파라미터 하나가 16비트에서 4비트가 되므로, 메모리는 4분의 1인 약 3.5 GB입니다(실제로는 양자화 스케일 등의 정보가 조금 추가됩니다). 메모리가 작아지므로 PC나 스마트폰에서도 큰 모델을 구동할 수 있게 되고, 메모리에서 읽어 오는 양이 줄어 추론도 빨라집니다. 정밀도 저하를 줄이는 기법이 중요해집니다.

  • A. 이것은 INT8(8비트)인 경우입니다.
  • B. 이것은 2비트인 경우입니다.
  • C. 정답입니다. 16비트에서 4비트가 되면 4분의 1입니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. M×K 행렬과 K×N 행렬의 곱을 계산할 때의 부동소수점 연산 횟수(곱셈과 덧셈을 따로 센다)는 대략 얼마인가?
  2. N×N의 FP16(2바이트) 행렬끼리의 곱에서, 두 입력을 한 번씩 읽고 결과를 한 번 쓴다고 하자. 연산 강도(1바이트당 연산 수)는 대략 얼마인가?
  3. 피크 성능 100 TFLOPS, 메모리 대역폭 2 TB/s의 가속기에서 연산 강도가 10 FLOP/바이트인 처리를 실행한다. Roofline 모델로 어림한 달성 가능한 성능은 얼마인가?
  4. 입력이 하나뿐일 때(배치 크기 1), 완전 연결층의 계산(가중치 행렬과 벡터의 곱)이 메모리 율속이 되기 쉬운 이유로 올바른 것은 무엇인가?
  5. 추론에서 배치 크기(한꺼번에 처리하는 입력의 수)를 키우면 전체 처리 효율이 올라가기 쉬운 이유는 무엇인가?