I/O 인터페이스와 버스
AI용 GPU를 다수 연결하는 시스템에서 PCI Express와는 별도로 GPU끼리를 잇는 전용 고속 연결(NVIDIA의 NVLink 등)이 사용되는 주된 이유는 무엇입니까?
- APCI Express로는 GPU를 하나도 연결할 수 없기 때문
- B전용 연결을 사용하면 GPU 메모리가 필요 없어지기 때문
- C큰 모델의 학습에서는 GPU끼리 대량의 데이터를 교환하므로 PCI Express보다 큰 대역이 필요하기 때문
정답과 해설 보기
정답: C. 큰 모델의 학습에서는 GPU끼리 대량의 데이터를 교환하므로 PCI Express보다 큰 대역이 필요하기 때문
큰 AI 모델을 여러 GPU로 학습하면 계산 도중에 기울기나 파라미터, 중간 결과를 GPU끼리 빈번하게 주고받습니다. 이 통신이 느리면 GPU는 계산을 멈추고 기다리게 됩니다. GPU끼리를 잇는 전용 연결은 많은 고속 SerDes 레인을 묶어 PCI Express보다 몇 배나 큰 대역으로 직접 데이터를 교환할 수 있게 합니다.
- A. GPU는 보통 PCI Express로 연결되어 있습니다.
- B. GPU 메모리는 계속 필요합니다.
- C. 올바릅니다. GPU 간 통신이 성능의 제약이 되기 쉽기 때문입니다.