AI 하드웨어·소프트웨어 스택

스마트폰 SoC에 탑재되는 NPU가 AI 추론에서 CPU보다 전력 효율이 높은 주된 이유는 무엇인가?

  1. ANPU는 전기를 쓰지 않고 빛으로 계산하기 때문
  2. BINT8 등 낮은 정밀도의 곱셈-덧셈 연산기를 다수 배치하고 AI 계산에 필요 없는 범용 회로를 생략했기 때문
  3. CNPU는 CPU보다 반드시 높은 클럭으로 동작하기 때문
정답과 해설 보기

정답: B. INT8 등 낮은 정밀도의 곱셈-덧셈 연산기를 다수 배치하고 AI 계산에 필요 없는 범용 회로를 생략했기 때문

CPU는 무엇이든 실행할 수 있도록 분기 예측이나 명령 재배열 등 명령마다 많은 회로를 동작시킵니다. NPU는 행렬의 곱셈-덧셈에 특화되어 낮은 정밀도의 연산기를 다수 배치하고 데이터를 칩 안에서 재사용하도록 만들어져 있으므로, 연산 1회에 드는 에너지가 자릿수 단위로 작아집니다. 그 대신 AI 이외의 처리나 지원하지 않는 연산에는 맞지 않습니다.

  • A. 일반적인 NPU는 전자 회로입니다.
  • B. 정답입니다. 전용화로 와트당 연산 수를 높였습니다.
  • C. 클럭은 오히려 낮은 경우가 많습니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. AI 가속기의 성능으로 제시되는 '○○ TOPS'라는 값에 대해 주의할 점으로 올바른 것은 무엇인가?
  2. 대규모 학습의 효율을 나타내는 지표인 MFU(Model FLOPs Utilization)의 설명으로 올바른 것은 무엇인가?
  3. Transformer 모델의 학습에 필요한 연산 수의 기준으로, 파라미터 수를 N, 학습에 사용하는 토큰 수를 D라 할 때 자주 쓰이는 근사는 무엇인가?
  4. 파라미터 수 N의 대규모 언어 모델에서 토큰 1개를 생성하는 추론에 필요한 연산 수의 기준은 무엇인가(어텐션 부분 제외)?
  5. 소프트맥스 함수 exp(xi)/Σexp(xj)를 계산할 때 각 xi에서 최댓값을 뺀 뒤 계산하는 경우가 많은 이유로 올바른 것은 무엇인가?