시퀀스 데이터를 한 요소씩 차례로 처리하고, 그때까지의 정보를 은닉 상태로서 다음 시점으로 넘기는 신경망. 같은 가중치를 각 시점에서 재사용하므로 길이가 다른 시퀀스를 다룰 수 있다. 긴 시퀀스에서는 기울기 소실이 일어나기 쉽기 때문에, 게이트로 정보의 유지와 망각을 제어하는 LSTM이나 GRU가 고안되었다. 시점 순서대로 계산해야 해서 병렬화하기 어렵기 때문에, 언어 처리에서는 많은 용도에서 Transformer로 대체되고 있다.
일본어 명칭: 再帰型ニューラルネットワーク(RNN)
순환 신경망(RNN)은(는) 머신러닝의 기초 등 1개 분야의 연습 문제 2개에 나와요.
분야: 머신러닝의 기초
정답: C. RNN은 이전 시점의 은닉 상태를 다음 시점으로 넘겨 시퀀스를 차례로 처리하고, LSTM은 게이트로 정보를 남길지 잊을지를 제어하여 긴 시퀀스에서의 기울기 소실을 일으키기 어렵게 한 것이다
RNN은 문장이나 음성, 센서의 시계열 같은 시퀀스 데이터를 한 요소씩 차례로 처리하고, 그때까지의 정보를 은닉 상태로서 다음 시점으로 넘기는 네트워크입니다. 시점을 거슬러 올라가며 오차를 전달하므로, 긴 시퀀스에서는 기울기가 사라지거나 지나치게 커지기 쉬워 먼 과거의 정보를 학습하기 어려워집니다. LSTM은 정보를 저장하는 셀과 입력·망각·출력 게이트를 가지며, 필요한 정보를 오래 유지할 수 있게 한 것입니다. 다만 둘 다 시점 순서대로 계산해야 하므로 병렬화하기 어려우며, 이 점을 개선한 것이 Transformer입니다.
RNN은 문장이나 음성, 센서의 시계열 같은 시퀀스 데이터를 한 요소씩 차례로 처리하고, 그때까지의 정보를 은닉 상태로서 다음 시점으로 넘기는 네트워크입니다.
순환 신경망(RNN)과 LSTM에 대한 설명으로 적절한 것은?어느 토큰이든 떨어진 토큰의 정보를 직접 받아들일 수 있는 데다, 계산은 행렬 곱으로 정리되고 RNN처럼 이전 시점의 결과를 기다릴 필요가 없으므로, 학습할 때 시퀀스의 모든 위치를 병렬로 계산할 수 있습니다.
Transformer에서 사용되는 셀프 어텐션(자기 주의 메커니즘)에 대한 설명으로 적절한 것은?어텐션(attention) 강화 학습(Reinforcement Learning) 경사 하강법(Gradient Descent) 과적합(Overfitting) 교차 검증(Cross-validation) 비지도 학습(Unsupervised Learning) 전이 학습(Transfer Learning) 정밀도와 재현율(Precision and Recall) 정칙화(Regularization) 주성분 분석(PCA)