AI 하드웨어·소프트웨어 스택
학습에서 사용되는 기울기 체크포인팅(활성화 재계산)의 설명으로 올바른 것은 무엇인가?
- A순전파 중간 결과의 일부만 저장하고, 역전파에서 필요해졌을 때 나머지를 다시 계산하여, 계산을 늘리는 대신 메모리를 줄인다
- B학습 도중에 모델의 가중치를 디스크에 저장한다
- C기울기를 계산하지 않고 학습한다
정답과 해설 보기
정답: A. 순전파 중간 결과의 일부만 저장하고, 역전파에서 필요해졌을 때 나머지를 다시 계산하여, 계산을 늘리는 대신 메모리를 줄인다
역전파에서는 각 층의 순전파 중간 결과가 필요하지만, 전부 저장하면 층 수와 배치 크기에 비례하여 메모리가 늘어납니다. 기울기 체크포인팅에서는 몇 개 층마다의 결과만 저장하고, 역전파에서 그 구간에 오면 저장한 지점부터 순전파를 다시 계산하여 필요한 값을 만들어 냅니다. 순전파 계산이 대략 한 번분 늘어나는 대신 활성화 메모리를 크게 줄일 수 있습니다.
- A. 정답입니다. 메모리가 부족할 때 자주 쓰는 방법입니다.
- B. 도중 저장(체크포인트 저장)과는 다른 것입니다.
- C. 기울기는 계산합니다.