AI 하드웨어·소프트웨어 스택

뉴로모픽 컴퓨팅에서 동작시키는 스파이킹 신경망(SNN)을 일반적인 신경망의 오차 역전파법으로 그대로 학습시키기 어려운 주된 이유로 올바른 것은?

  1. ASNN에는 가중치가 없기 때문에
  2. B스파이크의 발생은 문턱값을 넘었는지 여부로 정해지는 불연속적인 동작이어서 미분할 수 없기 때문에
  3. CSNN은 추론만 할 수 있고 학습이라는 개념이 없기 때문에
정답과 해설 보기

정답: B. 스파이크의 발생은 문턱값을 넘었는지 여부로 정해지는 불연속적인 동작이어서 미분할 수 없기 때문에

SNN의 각 뉴런은 입력된 스파이크를 막전위로 쌓아 가다가 문턱값을 넘으면 스파이크를 냅니다. 이 출력은 0인지 1인지가 불연속적으로 바뀌므로, 오차 역전파법에 필요한 기울기가 대부분의 점에서 0이 되거나 정의되지 않습니다. 그래서 학습할 때만 스파이크 함수를 매끄러운 함수로 근사한 기울기를 사용하는 방법이나, 일반 신경망으로 학습한 뒤 SNN으로 변환하는 방법이 연구되고 있습니다. 학습 방법의 확립은 뉴로모픽 컴퓨팅의 과제 중 하나입니다.

이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 신경망의 '학습'과 '추론'의 차이로 올바른 것은 무엇인가?
  2. 학습에 필요한 메모리가 같은 모델의 추론보다 훨씬 커지는 이유로 해당하지 않는 것은 무엇인가?
  3. 파라미터 수 70억(7B)의 모델을 가중치, 기울기, Adam의 두 상태를 모두 FP32(4바이트)로 가지고 학습한다. 활성화를 제외하고 필요한 메모리에 가장 가까운 것은 무엇인가?
  4. 파라미터 수 70억(7B)의 모델 가중치를 FP16(2바이트)으로 가지면, 가중치 메모리는 대략 얼마인가?
  5. 앞 문제의 7B 모델을 FP16(약 14 GB)에서 4비트 정수(INT4)로 양자화하면, 가중치 메모리는 대략 얼마가 되는가?

이 분야의 비교