AI 하드웨어·소프트웨어 스택

파라미터 수 70억(7B)의 모델 가중치를 FP16(2바이트)으로 가지면, 가중치 메모리는 대략 얼마인가?

  1. A약 14 GB
  2. B약 7 GB
  3. C약 28 GB
정답과 해설 보기

정답: A. 약 14 GB

가중치 메모리는 파라미터 수 × 하나당 바이트 수로 구합니다. 70억 × 2바이트 = 140억 바이트로 약 14 GB입니다. 추론에서는 이 밖에 중간 결과와 대규모 언어 모델의 KV 캐시 메모리도 필요합니다. 어떤 기기나 GPU에서 모델을 구동할 수 있는지는 먼저 이 계산으로 가늠합니다.

  • A. 정답입니다. 70억 × 2바이트입니다.
  • B. 파라미터 하나당 1바이트(INT8)인 경우의 값입니다.
  • C. FP32(4바이트)인 경우의 값입니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 앞 문제의 7B 모델을 FP16(약 14 GB)에서 4비트 정수(INT4)로 양자화하면, 가중치 메모리는 대략 얼마가 되는가?
  2. M×K 행렬과 K×N 행렬의 곱을 계산할 때의 부동소수점 연산 횟수(곱셈과 덧셈을 따로 센다)는 대략 얼마인가?
  3. N×N의 FP16(2바이트) 행렬끼리의 곱에서, 두 입력을 한 번씩 읽고 결과를 한 번 쓴다고 하자. 연산 강도(1바이트당 연산 수)는 대략 얼마인가?
  4. 피크 성능 100 TFLOPS, 메모리 대역폭 2 TB/s의 가속기에서 연산 강도가 10 FLOP/바이트인 처리를 실행한다. Roofline 모델로 어림한 달성 가능한 성능은 얼마인가?
  5. 입력이 하나뿐일 때(배치 크기 1), 완전 연결층의 계산(가중치 행렬과 벡터의 곱)이 메모리 율속이 되기 쉬운 이유로 올바른 것은 무엇인가?