AI 하드웨어·소프트웨어 스택

신경망의 프루닝(가지치기)에 대해 올바른 것은 무엇인가?

  1. A중요하지 않은 가중치를 0으로 만들어 줄이는 방법으로, 제각각 0으로 만드는 비구조적 방식은 하드웨어에서 빠르게 만들기 어렵다
  2. B가중치를 늘려 모델의 정확도를 반드시 높이는 방법이다
  3. C학습 데이터를 줄이는 방법이다
정답과 해설 보기

정답: A. 중요하지 않은 가중치를 0으로 만들어 줄이는 방법으로, 제각각 0으로 만드는 비구조적 방식은 하드웨어에서 빠르게 만들기 어렵다

프루닝은 값이 작은 등 영향이 적은 가중치를 0으로 만들어 계산과 메모리를 줄이는 방법입니다. 그러나 0이 제각각 흩어져 있으면 어디가 0인지 확인하는 수고가 들고, 행렬 연산기나 메모리는 일정한 단위로 동작하므로 실제로는 그다지 빨라지지 않습니다. 채널이나 층 단위, 또는 정해진 형태로 0으로 만드는 구조적 프루닝이라면 하드웨어에서 빠르게 만들기 쉽습니다.

  • A. 정답입니다. 정해진 형태로 0으로 만드는 구조적 방식도 있습니다.
  • B. 가중치를 줄이는 방법입니다.
  • C. 줄이는 것은 데이터가 아니라 가중치입니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. GPU의 행렬 연산기가 지원하는 '2:4 구조적 희소성(스파스)'의 설명으로 올바른 것은 무엇인가?
  2. 지식 증류(날리지 디스틸레이션)의 설명으로 올바른 것은 무엇인가?
  3. 여러 GPU로 학습하는 데이터 병렬의 설명으로 올바른 것은 무엇인가?
  4. GPU 1장의 메모리에 들어가지 않는 큰 층의 행렬 곱을 여러 GPU로 나누어 계산하는 텐서 병렬의 설명으로 올바른 것은 무엇인가?
  5. 모델의 층을 순서대로 여러 GPU에 나누어 담당시키는 파이프라인 병렬에서, 배치를 작은 마이크로배치로 나누어 흘려 보내는 이유로 올바른 것은 무엇인가?