さいきがたにゅーらるねっとわーく
系列データを1つの要素ずつ順に処理し、それまでの情報を隠れ状態として次の時刻に引き継ぐニューラルネットワーク。同じ重みを各時刻で使い回すので、長さの違う系列を扱える。長い系列では勾配消失が起こりやすいため、ゲートで情報の保持と忘却を制御するLSTMやGRUが考案された。時刻の順に計算する必要があり並列化しにくいことから、言語の処理では多くの用途でTransformerに置き換えられている。
「再帰型ニューラルネットワーク(RNN)」は、1分野の2問の練習問題に出てきます(機械学習の基礎など)。
この用語の分野: 機械学習の基礎
正解：C. RNNは前の時刻の隠れ状態を次の時刻に引き継いで系列を順に処理し、LSTMはゲートで情報を残すか忘れるかを制御して、長い系列での勾配消失を起こしにくくしたものである
RNNは、文章や音声、センサーの時系列のような系列データを1つの要素ずつ順に処理し、それまでの情報を隠れ状態として次の時刻に引き継ぐネットワークです。時刻をさかのぼって誤差を伝えるので、長い系列では勾配が消えたり大きくなりすぎたりしやすく、遠い過去の情報を学びにくくなります。LSTMは、情報をため込むセルと、入力・忘却・出力のゲートを持ち、必要な情報を長く保てるようにしたものです。ただし、どちらも時刻の順に計算する必要があるので並列化しにくく、この点を改善したのがTransformerです。
RNNは、文章や音声、センサーの時系列のような系列データを1つの要素ずつ順に処理し、それまでの情報を隠れ状態として次の時刻に引き継ぐネットワークです。
再帰型ニューラルネットワーク(RNN)とLSTMの説明として、適切なものはどれか。どのトークンも離れたトークンの情報を直接取り込めるうえ、計算は行列の積にまとめられ、RNNのように前の時刻の結果を待つ必要がないので、学習のときに系列の全位置を並列に計算できます。
Transformerで使われるセルフアテンション(自己注意機構)の説明として、適切なものはどれか。Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。