AI 하드웨어·소프트웨어 스택
학습에 필요한 메모리가 같은 모델의 추론보다 훨씬 커지는 이유로 해당하지 않는 것은 무엇인가?
- A학습에서는 가중치의 수가 추론의 몇 배로 늘어나기 때문
- B역전파에 사용하기 위해 순전파 중간 결과(활성화)를 저장해 두어야 하기 때문
- C가중치와 같은 수의 기울기와 옵티마이저 상태를 가져야 하기 때문
정답과 해설 보기
정답: A. 학습에서는 가중치의 수가 추론의 몇 배로 늘어나기 때문
모델의 가중치 수는 학습에서나 추론에서나 같습니다. 그러나 학습에서는 역전파로 기울기를 계산하기 위해 순전파의 중간 결과를 각 층에서 저장해야 하고, 가중치와 같은 수의 기울기와 Adam 등의 옵티마이저가 가지는 가중치별 값(두 개의 이동 평균 등)도 필요합니다. 그래서 학습의 메모리는 가중치만으로 충분한 추론의 몇 배가 되며, 큰 모델의 학습에는 다수의 GPU가 필요합니다.
- A. 정답입니다. 가중치의 수는 학습에서나 추론에서나 같습니다.
- B. 활성화 저장은 학습 메모리의 큰 부분을 차지합니다.
- C. 기울기와 옵티마이저 상태로 가중치의 몇 배에 달하는 메모리가 필요합니다.