한국어
메뉴

AI 학습과 추론의 차이점 정리

학습은 데이터를 순전파해 손실을 구하고, 역전파로 기울기를 계산하고, 옵티마이저로 가중치를 업데이트하는 과정을 대량으로 반복해 모델의 가중치를 정하는 처리입니다. 추론은 정해진 가중치로 순전파만 수행해 새로운 입력에 답을 내는 처리입니다. 학습에서는 가중치에 더해 기울기와 옵티마이저 상태, 역전파를 위한 활성화를 저장하므로 같은 모델의 추론보다 훨씬 많은 메모리와 계산이 필요합니다. 추론은 한 번의 계산은 작지만 사용될 때마다 실행되며, 응답 속도가 중시됩니다.

비교 항목학습(트레이닝)추론(인퍼런스)
목적데이터로부터 모델의 가중치를 정함정해진 가중치로 새로운 입력에 답을 냄
계산 내용순전파 → 손실 계산 → 역전파로 기울기 계산 → 옵티마이저로 가중치 업데이트를 반복순전파만
계산량 기준입력 하나당 순전파의 약 3배(역전파가 순전파의 약 2배). Transformer에서는 전체로 약 6 × 파라미터 수 × 토큰 수파라미터 수 N인 모델에서 토큰 하나당 약 2N
필요한 메모리가중치, 기울기, 옵티마이저 상태(Adam에서는 2개), 역전파를 위한 활성화. 모두 FP32라면 파라미터당 16바이트에 활성화가 더해짐가중치와 계산 중의 활성화(대규모 언어 모델에서는 KV 캐시도). FP16이라면 파라미터당 2바이트
수치 형식BF16이나 FP16의 혼합 정밀도(마스터 웨이트는 FP32)FP16이나 BF16, INT8이나 INT4 등으로 양자화한 형식
배치 크기큰 배치로 묶어 연산기 이용률을 높임응답을 서두를 때는 작게(1인 경우도 있음). 서버에서는 여러 요청을 묶어 효율을 높임
중시하는 성능처리량(학습을 마칠 때까지의 시간, 연산기 이용률)지연 시간(요청 하나에 대한 응답 시간)과 처리량의 양립, 처리당 비용
하드웨어대용량 HBM과 높은 연산 성능을 가진 GPU나 가속기를 고속 네트워크로 다수 연결데이터센터 GPU나 추론용 가속기부터 스마트폰 NPU나 마이컴까지 폭넓음
병렬화데이터 병렬, 텐서 병렬, 파이프라인 병렬. 기울기를 올리듀스로 모음여러 요청을 병렬로 처리. 큰 모델은 텐서 병렬 등으로 여러 칩에 나눔
에너지한 번의 학습에 많은 칩을 장기간 가동해 대량의 전력을 사용한 번은 작지만 사용될 때마다 실행되므로, 이용이 많으면 합계는 커짐

수치는 대략적인 자릿수 기준이며, 공정 세대와 제품에 따라 달라져요.

상황별 선택 기준

학습
새 모델을 만들 때, 기존 모델을 자신의 데이터에 맞춰 추가 학습(파인튜닝)할 때.
추론
학습된 모델을 서비스나 제품 안에서 사용할 때. 이미지 인식, 문장 생성, 음성 인식 등.
기법
추론에서는 양자화, 프루닝, 지식 증류로 모델을 가볍게 합니다. 학습에서는 혼합 정밀도나 그래디언트 체크포인팅으로 메모리와 계산을 절약합니다.

자주 묻는 질문

학습이 추론보다 훨씬 많은 메모리를 쓰는 이유는 무엇인가요?

학습에서는 가중치 외에 같은 수의 기울기와 옵티마이저 상태(Adam에서는 2개)를 가지며, 역전파를 위해 순전파 도중의 활성화도 저장하기 때문입니다. 예를 들어 70억 파라미터 모델에서 이것들을 모두 FP32로 가지면 활성화를 제외하고 약 112 GB가 되지만, FP16 가중치만으로 추론한다면 약 14 GB로 충분합니다.

추론에서 배치 크기를 키우면 어떻게 되나요?

한 번 읽어 들인 가중치를 여러 입력의 계산에 쓸 수 있으므로 연산기를 효율적으로 활용해 전체 처리량이 올라갑니다. 반면 입력이 모이기를 기다리는 시간과 한 번의 처리 시간이 늘어나므로 요청 하나에 대한 응답(지연 시간)은 느려지고, 메모리도 많이 사용합니다.

학습과 추론에 같은 하드웨어를 쓸 수 있나요?

쓸 수 있습니다. GPU는 학습에도 추론에도 쓰입니다. 다만 추론만 한다면 역전파나 큰 메모리가 필요 없으므로, INT8 등 낮은 정밀도의 연산기를 많이 배치한 추론용 가속기나 스마트폰 NPU처럼 전력 효율을 중시한 하드웨어도 쓰입니다.

학습에는 어느 정도의 계산이 필요한가요?

Transformer 모델에서는 파라미터 수를 N, 학습에 쓰는 토큰 수를 D라고 하면 전체 연산 수는 약 6ND라는 근사가 자주 쓰입니다. 순전파가 토큰 하나당 약 2N이고, 역전파에 그 약 2배가 걸리기 때문입니다.

이해도 확인

신경망의 '학습'과 '추론'의 차이로 올바른 것은 무엇인가?

  1. A학습은 순전파, 역전파, 가중치 갱신을 반복하여 가중치를 정하고, 추론은 정해진 가중치로 순전파만 수행하여 답을 낸다
  2. B학습도 추론도 순전파만 수행한다
  3. C추론은 가중치를 갱신하고, 학습은 가중치를 사용하지 않는다
정답과 해설 보기

정답: A. 학습은 순전파, 역전파, 가중치 갱신을 반복하여 가중치를 정하고, 추론은 정해진 가중치로 순전파만 수행하여 답을 낸다

학습에서는 입력을 차례로 계산하여 출력을 구하고(순전파), 정답과의 오차를 출력 쪽에서 입력 쪽으로 거슬러 올라가며 각 가중치의 기울기를 구한 뒤(역전파), 기울기에 따라 가중치를 조금씩 고치는 과정을 대량의 데이터로 반복합니다. 추론에서는 학습으로 정해진 가중치를 사용하여 순전파만 수행합니다. 역전파는 순전파의 약 2배의 계산이 필요하고 중간 결과도 저장해야 하므로, 학습은 추론보다 훨씬 무거운 처리입니다.

학습에 필요한 메모리가 같은 모델의 추론보다 훨씬 커지는 이유로 해당하지 않는 것은 무엇인가?

  1. A학습에서는 가중치의 수가 추론의 몇 배로 늘어나기 때문
  2. B역전파에 사용하기 위해 순전파 중간 결과(활성화)를 저장해 두어야 하기 때문
  3. C가중치와 같은 수의 기울기와 옵티마이저 상태를 가져야 하기 때문
정답과 해설 보기

정답: A. 학습에서는 가중치의 수가 추론의 몇 배로 늘어나기 때문

모델의 가중치 수는 학습에서나 추론에서나 같습니다. 그러나 학습에서는 역전파로 기울기를 계산하기 위해 순전파의 중간 결과를 각 층에서 저장해야 하고, 가중치와 같은 수의 기울기와 Adam 등의 옵티마이저가 가지는 가중치별 값(두 개의 이동 평균 등)도 필요합니다. 그래서 학습의 메모리는 가중치만으로 충분한 추론의 몇 배가 되며, 큰 모델의 학습에는 다수의 GPU가 필요합니다.

파라미터 수 70억(7B)의 모델을 가중치, 기울기, Adam의 두 상태를 모두 FP32(4바이트)로 가지고 학습한다. 활성화를 제외하고 필요한 메모리에 가장 가까운 것은 무엇인가?

  1. A약 28 GB
  2. B약 112 GB
  3. C약 14 GB
정답과 해설 보기

정답: B. 약 112 GB

파라미터 하나당 가중치 4바이트, 기울기 4바이트, Adam의 1차 및 2차 이동 평균 각 4바이트로 합계 16바이트입니다. 70억 × 16바이트 = 1120억 바이트로 약 112 GB가 되며, 여기에 활성화 메모리가 더해집니다. GPU 1장의 메모리에는 들어가지 않는 경우가 많으므로, 옵티마이저 상태를 여러 GPU에 나누어 가지거나 낮은 정밀도로 가지는 등의 방법이 사용됩니다.

  1. 추론에서 배치 크기(한꺼번에 처리하는 입력의 수)를 키우면 전체 처리 효율이 올라가기 쉬운 이유는 무엇인가?
  2. 추론에서 배치 크기를 지나치게 키웠을 때의 단점으로 올바른 것은 무엇인가?
  3. Transformer 모델의 학습에 필요한 연산 수의 기준으로, 파라미터 수를 N, 학습에 사용하는 토큰 수를 D라 할 때 자주 쓰이는 근사는 무엇인가?

AI 하드웨어·소프트웨어 스택 문제 풀기

주요 용어 설명

추론(Inference)
학습으로 정해진 가중치를 사용하여 입력으로부터 순전파만 수행해 답을 내는 AI 처리. 학습보다 연산과 메모리가 적게 든다.
역전파(Backpropagation)
신경망 학습에서 출력과 정답의 오차를 출력 쪽에서 입력 쪽으로 거슬러 전달하여 각 가중치의 기울기를 구하는 계산. 백프로퍼게이션.
배치 크기(Batch Size)
한꺼번에 처리하는 입력의 수. 크게 하면 가중치를 재사용할 수 있어 효율이 오르지만 응답 지연과 메모리가 늘어난다.
혼합 정밀도(Mixed Precision)
계산의 부분마다 다른 정밀도의 수치를 사용하는 것. 곱셈을 FP16 등으로 수행하고 누적을 FP32로 수행하여 속도와 정확도를 양립시킨다.
그래디언트 체크포인팅(gradient checkpointing)
순전파 도중 결과의 일부만 저장하고 역전파에서 필요할 때 나머지를 다시 계산해, 계산을 늘리는 대신 메모리를 줄이는 방법.

관련 비교