AI 하드웨어·소프트웨어 스택

ReLU나 레이어 정규화와 같은 요소별 연산이 AI 계산 중에서 연산 횟수에 비해 시간이 걸리기 쉬운 이유로 올바른 것은 무엇인가?

  1. AReLU의 계산은 행렬 곱보다 연산 횟수가 많기 때문
  2. B각 요소를 읽고 쓰는 양에 비해 계산이 적어서 메모리 대역폭으로 속도가 결정되기 때문
  3. C요소별 연산은 GPU에서는 실행할 수 없기 때문
정답과 해설 보기

정답: B. 각 요소를 읽고 쓰는 양에 비해 계산이 적어서 메모리 대역폭으로 속도가 결정되기 때문

ReLU는 각 요소를 읽어 0과 비교하여 쓸 뿐이어서 요소 하나당 계산은 미미합니다. 연산 강도가 매우 낮으므로 연산기의 성능이 아니라 메모리 대역폭으로 시간이 결정됩니다. 연산 횟수로는 전체의 극히 일부라도 시간으로는 무시할 수 없는 비율을 차지하기도 합니다. 행렬 곱 직후에 융합하거나 정규화를 묶어 하나의 커널로 만들어 메모리 읽기/쓰기를 줄입니다.

  • A. 연산 횟수는 행렬 곱보다 훨씬 적습니다.
  • B. 정답입니다. 융합으로 빠르게 만들 수 있는 대표적인 연산입니다.
  • C. GPU에서 실행할 수 있습니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 합성곱 신경망에서 합성곱 계산을 im2col 등의 방법으로 행렬 곱으로 변환하여 계산하는 경우가 있는 이유로 올바른 것은 무엇인가?
  2. 학습 후 양자화(PTQ)와 양자화 인지 학습(QAT)의 차이로 올바른 것은 무엇인가?
  3. 활성화를 INT8로 양자화하는 학습 후 양자화에서 수행하는 '캘리브레이션'의 목적으로 올바른 것은 무엇인가?
  4. 대규모 언어 모델의 양자화에서 극히 일부 채널에 큰 이상치가 있으면 정확도가 떨어지기 쉽다. 대책으로 일반적인 것은 무엇인가?
  5. 대규모 언어 모델의 추론에서 활성화는 FP16 그대로 두고 가중치만 4비트로 하는(W4A16) 양자화가 디코드를 특히 빠르게 하는 이유로 올바른 것은 무엇인가?