AI 하드웨어·소프트웨어 스택

Transformer 모델의 학습에 필요한 연산 수의 기준으로, 파라미터 수를 N, 학습에 사용하는 토큰 수를 D라 할 때 자주 쓰이는 근사는 무엇인가?

  1. A약 2ND
  2. B약 N+D
  3. C약 6ND
정답과 해설 보기

정답: C. 약 6ND

토큰 1개의 순전파에는 각 파라미터에 대해 곱셈과 덧셈이 한 번씩, 약 2N번의 연산이 필요합니다. 역전파는 그 약 2배인 4N번이므로, 토큰 1개의 학습에서 약 6N번, D개 토큰에서는 약 6ND번이 됩니다. 예를 들어 70억 파라미터 모델을 1조 토큰으로 학습하면 약 4.2×10²²번의 연산입니다. 이것을 GPU의 실효 성능으로 나누면 학습에 걸리는 시간을 가늠할 수 있습니다.

  • A. 2ND는 순전파(추론)만의 양입니다.
  • B. 연산 수는 곱으로 늘어납니다.
  • C. 정답입니다. 순전파 2ND와 역전파 4ND의 합계입니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 파라미터 수 N의 대규모 언어 모델에서 토큰 1개를 생성하는 추론에 필요한 연산 수의 기준은 무엇인가(어텐션 부분 제외)?
  2. 소프트맥스 함수 exp(xi)/Σexp(xj)를 계산할 때 각 xi에서 최댓값을 뺀 뒤 계산하는 경우가 많은 이유로 올바른 것은 무엇인가?
  3. 대규모 언어 모델의 추론을 빠르게 하는 '투기적 디코딩'의 발상으로 올바른 것은 무엇인가?
  4. 추천 시스템 모델 등에서 사용되는 큰 임베딩 테이블의 조회가 AI 하드웨어에서 다루기 어려운 이유로 올바른 것은 무엇인가?
  5. AI 소프트웨어 스택을 사용자에 가까운 위쪽 층에서 하드웨어에 가까운 아래쪽 층으로 나열한 것으로 올바른 것은 무엇인가?