AI 하드웨어·소프트웨어 스택

TensorRT나 ONNX Runtime 같은 추론 런타임이 학습용 프레임워크로 그대로 추론하는 것보다 빠를 수 있는 주된 이유는 무엇인가?

  1. A추론에만 필요한 형태로 그래프를 최적화하여 연산 융합, 양자화, 하드웨어에 맞는 커널 선택 등을 수행하기 때문
  2. B추론 런타임은 계산을 생략하여 대략적인 답을 내기 때문
  3. C추론 런타임은 모델의 가중치 수를 늘리기 때문
정답과 해설 보기

정답: A. 추론에만 필요한 형태로 그래프를 최적화하여 연산 융합, 양자화, 하드웨어에 맞는 커널 선택 등을 수행하기 때문

학습용 프레임워크는 유연하게 작성할 수 있는 점과 역전파를 위한 기록을 중시하므로, 추론에만 사용하면 낭비가 있습니다. 추론 런타임은 모델을 읽어 들인 뒤 추론에 불필요한 부분을 제거하고, 연산을 융합하며, 필요에 따라 가중치나 활성화를 낮은 정밀도로 바꾸고, 대상 GPU나 NPU에서 가장 빠른 커널을 선택합니다. 이렇게 같은 모델이라도 지연 시간과 메모리를 크게 줄일 수 있습니다.

  • A. 정답입니다. 역전파를 위한 구조가 불필요해집니다.
  • B. 계산을 생략하는 것이 아닙니다.
  • C. 가중치 수는 늘어나지 않습니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. ReLU나 레이어 정규화와 같은 요소별 연산이 AI 계산 중에서 연산 횟수에 비해 시간이 걸리기 쉬운 이유로 올바른 것은 무엇인가?
  2. 합성곱 신경망에서 합성곱 계산을 im2col 등의 방법으로 행렬 곱으로 변환하여 계산하는 경우가 있는 이유로 올바른 것은 무엇인가?
  3. 학습 후 양자화(PTQ)와 양자화 인지 학습(QAT)의 차이로 올바른 것은 무엇인가?
  4. 활성화를 INT8로 양자화하는 학습 후 양자화에서 수행하는 '캘리브레이션'의 목적으로 올바른 것은 무엇인가?
  5. 대규모 언어 모델의 양자화에서 극히 일부 채널에 큰 이상치가 있으면 정확도가 떨어지기 쉽다. 대책으로 일반적인 것은 무엇인가?