將序列資料一次處理一個元素，並把到目前為止的資訊作為隱藏狀態傳給下一個時刻的神經網路。每個時刻重複使用相同的權重，因此能處理長度不同的序列。由於長序列容易發生梯度消失，因而發展出以閘門控制資訊保留與遺忘的LSTM與GRU。因為必須依時刻順序計算、難以平行化，在語言處理的許多用途上已被Transformer取代。
日文名稱: 再帰型ニューラルネットワーク(RNN)
「遞迴神經網路（RNN）」出現在1領域的2道練習題中（機器學習基礎等）。
這個名詞所屬的領域: 機器學習基礎
正確答案：C. RNN將前一個時刻的隱藏狀態傳給下一個時刻，依序處理序列；LSTM則以閘門控制資訊的保留或遺忘，使長序列不易發生梯度消失
RNN將文字、語音、感測器的時間序列等序列資料一次處理一個元素，並把到目前為止的資訊作為隱藏狀態傳給下一個時刻。由於誤差要沿時間回溯傳遞，長序列容易發生梯度消失或爆炸，難以學到遙遠過去的資訊。LSTM具有儲存資訊的記憶單元，以及輸入、遺忘、輸出閘門，能長時間保留需要的資訊。不過兩者都必須依時刻順序計算、難以平行化，改善這一點的是Transformer。
RNN將文字、語音、感測器的時間序列等序列資料一次處理一個元素，並把到目前為止的資訊作為隱藏狀態傳給下一個時刻。
下列關於遞迴神經網路（RNN）與LSTM的敘述，何者適當？每個詞元都能直接取入遠處詞元的資訊，而且計算可以整理成矩陣乘積，不必像RNN那樣等待前一個時刻的結果，因此訓練時可以平行計算序列的所有位置。
下列關於Transformer所用之自注意力（self-attention）的敘述，何者適當？注意力機制（Attention mechanism） 主成分分析（PCA） 正規化（Regularization） 交叉驗證（Cross-validation） 卷積神經網路（CNN） 非監督式學習（Unsupervised learning） 強化學習（Reinforcement learning） 啟動函數（Activation function） 梯度下降法（Gradient descent） 混淆矩陣（Confusion matrix）