AI 하드웨어·소프트웨어 스택

파라미터 수 N의 대규모 언어 모델에서 토큰 1개를 생성하는 추론에 필요한 연산 수의 기준은 무엇인가(어텐션 부분 제외)?

  1. A약 2N
  2. B약 6N
  3. C약 N²
정답과 해설 보기

정답: A. 약 2N

추론의 순전파에서는 각 가중치에 대해 입력과의 곱셈과 합산을 한 번씩 수행하므로 토큰당 약 2N번의 연산이 됩니다. 70억 파라미터라면 토큰 하나에 약 140억 번입니다. 현재의 GPU에게 이는 작은 양이지만, 디코드에서는 그동안 14 GB의 가중치를 읽어야 하므로 시간을 결정하는 것은 연산이 아니라 메모리 대역폭입니다.

  • A. 정답입니다. 각 파라미터에서 곱셈과 덧셈을 한 번씩 수행합니다.
  • B. 6N은 학습의 토큰당 양입니다.
  • C. 파라미터 수의 제곱은 되지 않습니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 소프트맥스 함수 exp(xi)/Σexp(xj)를 계산할 때 각 xi에서 최댓값을 뺀 뒤 계산하는 경우가 많은 이유로 올바른 것은 무엇인가?
  2. 대규모 언어 모델의 추론을 빠르게 하는 '투기적 디코딩'의 발상으로 올바른 것은 무엇인가?
  3. 추천 시스템 모델 등에서 사용되는 큰 임베딩 테이블의 조회가 AI 하드웨어에서 다루기 어려운 이유로 올바른 것은 무엇인가?
  4. AI 소프트웨어 스택을 사용자에 가까운 위쪽 층에서 하드웨어에 가까운 아래쪽 층으로 나열한 것으로 올바른 것은 무엇인가?
  5. 신경망의 '학습'과 '추론'의 차이로 올바른 것은 무엇인가?