GPU란?

じーぴーゆー

Graphics Processing Unit の略。単純な演算器を多数もち、大量のデータを並列に処理するプロセッサ。画像処理のほか、AIの学習や推論に広く使われている。

일본어 명칭: GPU

GPU은(는) AI 하드웨어·소프트웨어 스택, 첨단 패키징(3D와 칩렛), CPU와 아키텍처 등 3개 분야의 연습 문제 25개에 나와요.

분야: CPU와 아키텍처

도전해 보기: GPU 관련 문제

GPU가 행렬 연산이나 AI의 학습·추론에 적합한 주된 이유는?

  1. A클록 주파수가 CPU의 100배 이상이기 때문
  2. B단순한 연산기를 다수 갖추고 있어 대량의 데이터를 병렬로 처리할 수 있기 때문
  3. C메모리를 갖지 않기 때문
정답과 해설 보기

정답: B. 단순한 연산기를 다수 갖추고 있어 대량의 데이터를 병렬로 처리할 수 있기 때문

GPU는 원래 화면의 수많은 화소를 동시에 처리하기 위해 단순한 연산기를 수천~1만 개 이상 늘어놓은 구조를 가지고 있습니다. 행렬 연산처럼 같은 계산을 대량의 데이터에 반복하는 처리에서는 이 병렬성으로 높은 성능을 발휘합니다. 최근에는 행렬 연산 전용 유닛(Tensor Core 등)과 광대역 HBM을 갖추어 AI 학습의 주역이 되었습니다. 분기가 많은 순차적 처리는 CPU가 더 잘합니다.

AI용 GPU에서 GPU 칩과 HBM을 하나의 실리콘 인터포저 위에 나란히 실장하는 주된 이유는?

  1. A부품 수를 늘리기 위해
  2. B칩 사이를 매우 많은 배선으로 짧게 연결하여 매우 높은 메모리 대역폭을 얻기 위해
  3. C메모리 용량을 줄이기 위해
정답과 해설 보기

정답: B. 칩 사이를 매우 많은 배선으로 짧게 연결하여 매우 높은 메모리 대역폭을 얻기 위해

HBM은 스택 하나당 1,024개의 데이터선을 가지며 여러 스택을 나란히 놓으면 수천 개가 되므로, 일반 패키지 기판으로는 배선을 다 처리할 수 없습니다. 미세 배선을 만들 수 있는 실리콘 인터포저 위에 GPU와 HBM을 나란히 놓으면, 많은 배선으로 수 mm의 짧은 거리에서 연결할 수 있어 AI 연산에 필요한 수 TB/s의 메모리 대역폭을 구현할 수 있습니다. 부품 수를 늘리거나 용량을 줄이기 위한 것이 아닙니다.

해설 속 GPU

GPU이(가) 나오는 문제 (25)

  1. GPU가 행렬 연산이나 AI의 학습·추론에 적합한 주된 이유는?
  2. AI용 GPU에서 GPU 칩과 HBM을 하나의 실리콘 인터포저 위에 나란히 실장하는 주된 이유는?
  3. TSMC의 2.5D 실장 기술로, AI용 GPU와 HBM을 실리콘 인터포저 위에 나란히 놓고 연결하는 용도로 널리 사용되는 것은?
  4. FP16으로 약 14 GB의 가중치를 가진 모델을 메모리 대역폭 2 TB/s의 GPU에서 배치 크기 1로 디코드한다. 토큰 하나를 생성하는 데 걸리는 시간의 하한에 가장 가까운 것은 무엇인가?
  5. GPU의 행렬 연산기가 지원하는 '2:4 구조적 희소성(스파스)'의 설명으로 올바른 것은 무엇인가?
  6. 여러 GPU로 학습하는 데이터 병렬의 설명으로 올바른 것은 무엇인가?
  7. GPU 1장의 메모리에 들어가지 않는 큰 층의 행렬 곱을 여러 GPU로 나누어 계산하는 텐서 병렬의 설명으로 올바른 것은 무엇인가?
  8. 모델의 층을 순서대로 여러 GPU에 나누어 담당시키는 파이프라인 병렬에서, 배치를 작은 마이크로배치로 나누어 흘려 보내는 이유로 올바른 것은 무엇인가?
  9. 칩렛에 대한 설명으로 올바른 것은?
  10. HBM(High Bandwidth Memory)에 대한 설명으로 올바른 것은?
  11. 2.5D 실장과 3D 실장의 차이로 올바른 것은?
  12. 고전력 AI용 패키지에서 검토·도입이 진행되고 있는 냉각 방법의 예로 올바른 것은?
  13. 노광 장비에서 한 번에 노광할 수 있는 최대 범위(약 26 mm × 33 mm)보다 큰 실리콘 인터포저를 제조하는 데 사용되는 방법은?
  14. 학습에 필요한 메모리가 같은 모델의 추론보다 훨씬 커지는 이유로 해당하지 않는 것은 무엇인가?
  15. 파라미터 수 70억(7B)의 모델을 가중치, 기울기, Adam의 두 상태를 모두 FP32(4바이트)로 가지고 학습한다. 활성화를 제외하고 필요한 메모리에 가장 가까운 것은 무엇인가?

이 용어가 포함된 비교

관련 용어

HBM NPU(ニューラルプロセッシングユニット) TSV(シリコン貫通電極) CoWoS ONNX MFU 仮想記憶 命令セットアーキテクチャ(ISA) 分岐予測 割り込み

용어집으로 돌아가기