AI 하드웨어·소프트웨어 스택

파라미터 수 70억(7B)의 모델을 가중치, 기울기, Adam의 두 상태를 모두 FP32(4바이트)로 가지고 학습한다. 활성화를 제외하고 필요한 메모리에 가장 가까운 것은 무엇인가?

  1. A약 28 GB
  2. B약 112 GB
  3. C약 14 GB
정답과 해설 보기

정답: B. 약 112 GB

파라미터 하나당 가중치 4바이트, 기울기 4바이트, Adam의 1차 및 2차 이동 평균 각 4바이트로 합계 16바이트입니다. 70억 × 16바이트 = 1120억 바이트로 약 112 GB가 되며, 여기에 활성화 메모리가 더해집니다. GPU 1장의 메모리에는 들어가지 않는 경우가 많으므로, 옵티마이저 상태를 여러 GPU에 나누어 가지거나 낮은 정밀도로 가지는 등의 방법이 사용됩니다.

  • A. 이것은 가중치만의 양입니다.
  • B. 정답입니다. 파라미터 하나당 16바이트입니다.
  • C. 이것은 FP16 가중치만의 양입니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 파라미터 수 70억(7B)의 모델 가중치를 FP16(2바이트)으로 가지면, 가중치 메모리는 대략 얼마인가?
  2. 앞 문제의 7B 모델을 FP16(약 14 GB)에서 4비트 정수(INT4)로 양자화하면, 가중치 메모리는 대략 얼마가 되는가?
  3. M×K 행렬과 K×N 행렬의 곱을 계산할 때의 부동소수점 연산 횟수(곱셈과 덧셈을 따로 센다)는 대략 얼마인가?
  4. N×N의 FP16(2바이트) 행렬끼리의 곱에서, 두 입력을 한 번씩 읽고 결과를 한 번 쓴다고 하자. 연산 강도(1바이트당 연산 수)는 대략 얼마인가?
  5. 피크 성능 100 TFLOPS, 메모리 대역폭 2 TB/s의 가속기에서 연산 강도가 10 FLOP/바이트인 처리를 실행한다. Roofline 모델로 어림한 달성 가능한 성능은 얼마인가?