機械学習の基礎
再帰型ニューラルネットワーク(RNN)とLSTMの説明として、適切なものはどれか。
- ARNNは画像の各位置に同じフィルタをかけて局所的な特徴を取り出すネットワークで、LSTMはそのプーリング層を改良して位置のずれに強くしたものである
- BRNNは系列のすべての要素を互いに独立に扱い、前の時刻の結果を使わずに同時に並列に処理できるので、長い系列ほど学習が速く進む
- CRNNは前の時刻の隠れ状態を次の時刻に引き継いで系列を順に処理し、LSTMはゲートで情報を残すか忘れるかを制御して、長い系列での勾配消失を起こしにくくしたものである
答えと解説を見る
正解：C. RNNは前の時刻の隠れ状態を次の時刻に引き継いで系列を順に処理し、LSTMはゲートで情報を残すか忘れるかを制御して、長い系列での勾配消失を起こしにくくしたものである
RNNは、文章や音声、センサーの時系列のような系列データを1つの要素ずつ順に処理し、それまでの情報を隠れ状態として次の時刻に引き継ぐネットワークです。時刻をさかのぼって誤差を伝えるので、長い系列では勾配が消えたり大きくなりすぎたりしやすく、遠い過去の情報を学びにくくなります。LSTMは、情報をため込むセルと、入力・忘却・出力のゲートを持ち、必要な情報を長く保てるようにしたものです。ただし、どちらも時刻の順に計算する必要があるので並列化しにくく、この点を改善したのがTransformerです。
- A. 畳み込みニューラルネットワーク(CNN)の説明です。
- B. RNNは前の時刻の結果を使うので、時刻の順に計算する必要があり、系列の方向には並列化しにくいです。
- C. 正しい。隠れ状態を引き継いで系列を処理し、LSTMはゲートによって長い依存関係を扱いやすくしています。