AI 하드웨어·소프트웨어 스택
분산 학습에서 사용되는 올리듀스(All-Reduce) 통신의 역할로 올바른 것은 무엇인가?
- AGPU 하나의 데이터를 지워 메모리를 비운다
- B전 GPU가 가진 값(기울기 등)을 합산하고 그 합계를 모든 GPU에 배포한다
- C전 GPU의 전원을 일제히 끈다
정답과 해설 보기
정답: B. 전 GPU가 가진 값(기울기 등)을 합산하고 그 합계를 모든 GPU에 배포한다
올리듀스는 각 GPU가 가진 같은 형태의 텐서를 요소별로 더하고(리듀스), 그 결과를 전 GPU가 받는 통신입니다. GPU를 고리 모양으로 이어 데이터를 잘게 나누면서 이웃에게 넘기는 방법(링 올리듀스)에서는 GPU 수가 늘어도 1대당 통신량이 거의 일정하게 유지됩니다. 데이터 병렬 학습에서는 매번의 기울기 평균에 이 통신을 사용합니다.
- A. 데이터를 지우는 처리가 아닙니다.
- B. 정답입니다. 데이터 병렬의 기울기 평균에 사용합니다.
- C. 전원 조작이 아닙니다.