GPU 프로그래밍

최근 GPU에 탑재된 텐서 코어(행렬 연산 유닛)의 특징으로 올바른 것은?

  1. A작은 행렬끼리의 곱셈-누산을 하나의 명령으로 한꺼번에 계산하며, 주로 낮은 정밀도의 수치로 AI 계산을 대폭 가속한다
  2. B텐서라는 물리량을 측정하는 센서이다
  3. C그래픽스의 그림자를 그리는 전용 회로이다
정답과 해설 보기

정답: A. 작은 행렬끼리의 곱셈-누산을 하나의 명령으로 한꺼번에 계산하며, 주로 낮은 정밀도의 수치로 AI 계산을 대폭 가속한다

텐서 코어는 예컨대 4×4나 16×16 같은 작은 행렬의 곱셈과 덧셈을 하나의 명령으로 한 번에 수행하는 연산기입니다. 일반 연산기로 곱셈과 덧셈을 한 번씩 수행하는 것보다 같은 면적과 전력으로 몇 배나 많은 계산을 할 수 있습니다. FP16, BF16, FP8, INT8 등 낮은 정밀도로 사용하는 경우가 많으며, 신경망 학습과 추론의 대부분을 차지하는 행렬 곱을 크게 가속합니다.

이 분야 연습하기 분야로 돌아가기

GPU 프로그래밍의 다른 문제

  1. GPU의 혼합 정밀도 계산에서 곱셈은 FP16 등 낮은 정밀도로, 합산(누적)은 FP32로 하는 경우가 많은 이유로 올바른 것은?
  2. GPU에서 같은 데이터의 부동소수점수 총합을 구했더니, 실행할 때마다 결과의 마지막 자릿수가 미세하게 달랐다. 가장 가능성이 높은 원인은?
  3. CUDA에서 블록당 스레드 수를 정할 때의 일반적인 기준으로 올바른 것은?
  4. 위와 같은 루프(그리드 스트라이드 루프)로 커널을 작성할 때의 이점으로 올바른 것은?
  5. CUDA 상수 메모리(constant memory)가 특히 빠르게 동작하는 것은 어떤 접근일 때인가?

이 분야의 비교