뉴로모픽 컴퓨팅(Neuromorphic Computing)란?

뇌의 뉴런과 시냅스를 본떠, 스파이크라는 펄스로 정보를 주고받고 변화가 있을 때만 계산하는 컴퓨팅. 메모리를 계산 가까이에 두어 저전력을 목표로 한다.

일본어 명칭: ニューロモーフィックコンピューティング

뉴로모픽 컴퓨팅(Neuromorphic Computing)은(는) AI 하드웨어·소프트웨어 스택 등 1개 분야의 연습 문제 2개에 나와요.

뇌에서 빌려 온 세 가지 생각

뉴로모픽 컴퓨팅은 뇌의 신경 회로를 본보기로 계산을 합니다. 첫째, 정보를 연속적인 값이 아니라 스파이크라는 짧은 펄스가 있는지 없는지와 그 타이밍으로 나타냅니다. 둘째, 이벤트 구동으로, 입력이 바뀔 때만 회로가 동작하고 쉬고 있는 부분은 전력을 거의 쓰지 않습니다. 셋째, 시냅스의 가중치를 계산하는 곳 가까이에 저장하여 메모리와 연산기 사이의 데이터 이동을 줄입니다. 대표적인 설계는 각각 많은 뉴런을 담당하는 다수의 코어를, 스파이크를 작은 패킷으로 보내는 네트워크로 잇습니다.

스파이킹 신경망

이러한 하드웨어에서 실행하는 모델을 스파이킹 신경망(SNN)이라고 합니다. 각 뉴런은 들어오는 스파이크를 막전위로 축적하고, 문턱값을 넘으면 스파이크를 내보낸 뒤 리셋됩니다. 활동이 희소하고 시간 정보를 자연스럽게 다룰 수 있으므로, 센서 신호 처리나 전력이 제한된 기기에서의 추론에 적합하다고 여겨집니다. 다만 스파이크 발생은 불연속적이고 미분할 수 없는 동작이므로, 일반적인 신경망의 표준적인 역전파를 그대로 적용할 수 없으며, 기울기를 매끄러운 함수로 근사하는 방법이나 학습된 기존 모델을 변환하는 방법이 연구되고 있습니다.

대표적인 칩

IBM은 2014년에 100만 개의 뉴런과 2.56억 개의 시냅스를 가진 디지털 칩 TrueNorth를 발표하고, 소비 전력을 약 70 mW로 보고했습니다. Intel은 연구용 칩 Loihi를 2017년에, 2세대 Loihi 2를 2021년에 발표했으며, 2024년에는 Loihi 2를 1152개 사용해 약 11.5억 개의 뉴런을 가진 시스템 Hala Point를 발표했습니다. 이들은 디지털 회로이지만, 저항 변화 메모리 같은 아날로그 소자로 시냅스의 가중치를 유지하고 메모리 안에서 곱셈 누적 연산을 하는 연구도 있어, 인메모리 컴퓨팅과 깊은 관계가 있습니다.

GPU와의 비교와 과제

대규모 언어 모델의 학습 같은 밀집 행렬 연산에서는 2020년대 중반 시점에서 GPU 같은 기존 가속기가 주류였습니다. 뉴로모픽 컴퓨팅이 효과를 내기 쉬운 것은 희소하고 시간에 따라 변하는 입력이나, 전력 제약이 엄격한 용도입니다. SNN의 학습 방법과 정확도, 성숙한 소프트웨어 도구, 기존 방식과 공정하게 비교할 수 있는 벤치마크가 과제이며, 어디에서 이점을 가질지에 대한 연구가 계속되고 있습니다.

도전해 보기: 뉴로모픽 컴퓨팅(Neuromorphic Computing) 관련 문제

뉴로모픽 컴퓨팅의 하드웨어가 낮은 소비 전력을 목표로 할 수 있는 주된 이유로 올바른 것은?

A모든 뉴런을 높은 클록 주파수로 항상 동시에 동작시키기 때문에
B모든 계산을 64비트 부동소수점으로 수행하기 때문에
C스파이크가 도달한 부분만 동작하는 이벤트 구동 방식이며, 가중치를 저장하는 메모리를 연산 가까이에 두어 데이터 이동을 줄이기 때문에

정답과 해설 보기

정답: C. 스파이크가 도달한 부분만 동작하는 이벤트 구동 방식이며, 가중치를 저장하는 메모리를 연산 가까이에 두어 데이터 이동을 줄이기 때문에

뉴로모픽 컴퓨팅은 뇌의 신경 회로를 본떠 정보를 스파이크라는 펄스로 전달합니다. 입력에 변화가 있어 스파이크가 도달한 부분만 동작하므로, 활동이 드문드문한 처리에서는 아무 일도 하지 않는 회로가 전력을 거의 쓰지 않습니다. 또한 시냅스의 가중치를 각 코어 안의 메모리에 두어 연산기와의 긴 데이터 이동을 줄입니다. 이러한 특징이 밀집된 행렬 연산을 일제히 수행하는 GPU와의 차이입니다.

뉴로모픽 컴퓨팅에서 동작시키는 스파이킹 신경망(SNN)을 일반적인 신경망의 오차 역전파법으로 그대로 학습시키기 어려운 주된 이유로 올바른 것은?

ASNN에는 가중치가 없기 때문에
B스파이크의 발생은 문턱값을 넘었는지 여부로 정해지는 불연속적인 동작이어서 미분할 수 없기 때문에
CSNN은 추론만 할 수 있고 학습이라는 개념이 없기 때문에

정답과 해설 보기

정답: B. 스파이크의 발생은 문턱값을 넘었는지 여부로 정해지는 불연속적인 동작이어서 미분할 수 없기 때문에

SNN의 각 뉴런은 입력된 스파이크를 막전위로 쌓아 가다가 문턱값을 넘으면 스파이크를 냅니다. 이 출력은 0인지 1인지가 불연속적으로 바뀌므로, 오차 역전파법에 필요한 기울기가 대부분의 점에서 0이 되거나 정의되지 않습니다. 그래서 학습할 때만 스파이크 함수를 매끄러운 함수로 근사한 기울기를 사용하는 방법이나, 일반 신경망으로 학습한 뒤 SNN으로 변환하는 방법이 연구되고 있습니다. 학습 방법의 확립은 뉴로모픽 컴퓨팅의 과제 중 하나입니다.

자주 묻는 질문

뉴로모픽 컴퓨팅은 GPU와 무엇이 다른가요?

GPU는 많은 연산기를 클록에 맞추어 일제히 움직여 밀집 행렬 연산을 빠르게 수행합니다. 뉴로모픽 컴퓨팅은 이벤트 구동이어서 스파이크를 받은 부분만 동작하며, 메모리를 계산 가까이에 두어 희소한 작업을 저전력으로 처리합니다.

스파이킹 신경망(SNN)이란 무엇인가요?

뉴런끼리 스파이크라는 펄스로 통신하는 신경망입니다. 각 뉴런은 입력을 막전위로 축적하고 문턱값을 넘으면 스파이크를 냅니다. SNN은 뉴로모픽 하드웨어에서 실행하는 모델입니다.

뉴로모픽 컴퓨팅의 과제는 무엇인가요?

스파이크는 미분할 수 없어 SNN의 학습이 어렵고, 정확도, 소프트웨어의 성숙도, 기존 방식과의 공정한 비교도 과제입니다. 어떤 용도에서 우위에 설지에 대한 연구가 계속되고 있습니다.

해설 속 뉴로모픽 컴퓨팅(Neuromorphic Computing)

뉴로모픽 컴퓨팅은 뇌의 신경 회로를 본떠 정보를 스파이크라는 펄스로 전달합니다.
뉴로모픽 컴퓨팅의 하드웨어가 낮은 소비 전력을 목표로 할 수 있는 주된 이유로 올바른 것은?
학습 방법의 확립은 뉴로모픽 컴퓨팅의 과제 중 하나입니다.
뉴로모픽 컴퓨팅에서 동작시키는 스파이킹 신경망(SNN)을 일반적인 신경망의 오차 역전파법으로 그대로 학습시…