機器學習基礎
下列關於遞迴神經網路（RNN）與LSTM的敘述，何者適當？
- ARNN是對影像的各位置套用相同濾波器以取出局部特徵的網路，LSTM則是改良其池化層、使其不易受位置偏移影響者
- BRNN將序列的所有元素彼此獨立處理，不使用前一個時刻的結果而同時平行處理，因此序列越長訓練越快
- CRNN將前一個時刻的隱藏狀態傳給下一個時刻，依序處理序列；LSTM則以閘門控制資訊的保留或遺忘，使長序列不易發生梯度消失
查看答案與解析
正確答案：C. RNN將前一個時刻的隱藏狀態傳給下一個時刻，依序處理序列；LSTM則以閘門控制資訊的保留或遺忘，使長序列不易發生梯度消失
RNN將文字、語音、感測器的時間序列等序列資料一次處理一個元素，並把到目前為止的資訊作為隱藏狀態傳給下一個時刻。由於誤差要沿時間回溯傳遞，長序列容易發生梯度消失或爆炸，難以學到遙遠過去的資訊。LSTM具有儲存資訊的記憶單元，以及輸入、遺忘、輸出閘門，能長時間保留需要的資訊。不過兩者都必須依時刻順序計算、難以平行化，改善這一點的是Transformer。
- A. 這是卷積神經網路（CNN）的說明。
- B. RNN會使用前一個時刻的結果，因此必須依時刻順序計算，在序列方向上難以平行化。
- C. 正確。傳遞隱藏狀態來處理序列，LSTM則以閘門使長距離的依賴關係更容易處理。