머신러닝의 기초
순환 신경망(RNN)과 LSTM에 대한 설명으로 적절한 것은?
- ARNN은 이미지의 각 위치에 같은 필터를 적용하여 국소적인 특징을 추출하는 네트워크이고, LSTM은 그 풀링층을 개량하여 위치 어긋남에 강하게 만든 것이다
- BRNN은 시퀀스의 모든 요소를 서로 독립적으로 다루며, 이전 시점의 결과를 사용하지 않고 동시에 병렬로 처리할 수 있으므로 긴 시퀀스일수록 학습이 빨리 진행된다
- CRNN은 이전 시점의 은닉 상태를 다음 시점으로 넘겨 시퀀스를 차례로 처리하고, LSTM은 게이트로 정보를 남길지 잊을지를 제어하여 긴 시퀀스에서의 기울기 소실을 일으키기 어렵게 한 것이다
정답과 해설 보기
정답: C. RNN은 이전 시점의 은닉 상태를 다음 시점으로 넘겨 시퀀스를 차례로 처리하고, LSTM은 게이트로 정보를 남길지 잊을지를 제어하여 긴 시퀀스에서의 기울기 소실을 일으키기 어렵게 한 것이다
RNN은 문장이나 음성, 센서의 시계열 같은 시퀀스 데이터를 한 요소씩 차례로 처리하고, 그때까지의 정보를 은닉 상태로서 다음 시점으로 넘기는 네트워크입니다. 시점을 거슬러 올라가며 오차를 전달하므로, 긴 시퀀스에서는 기울기가 사라지거나 지나치게 커지기 쉬워 먼 과거의 정보를 학습하기 어려워집니다. LSTM은 정보를 저장하는 셀과 입력·망각·출력 게이트를 가지며, 필요한 정보를 오래 유지할 수 있게 한 것입니다. 다만 둘 다 시점 순서대로 계산해야 하므로 병렬화하기 어려우며, 이 점을 개선한 것이 Transformer입니다.