Deutsch
Menü

Was ist Rekurrentes neuronales Netz (RNN)?

Ein neuronales Netz, das Sequenzdaten Element für Element verarbeitet und die bisherige Information als verborgenen Zustand an den nächsten Zeitschritt weitergibt. Da in jedem Zeitschritt dieselben Gewichte verwendet werden, kann es Sequenzen unterschiedlicher Länge verarbeiten. Weil bei langen Sequenzen leicht verschwindende Gradienten auftreten, wurden LSTM und GRU entwickelt, die das Behalten und Vergessen von Information mit Gates steuern. Da es in zeitlicher Reihenfolge rechnen muss und sich schwer parallelisieren lässt, wurde es in vielen Anwendungen der Sprachverarbeitung durch den Transformer ersetzt.

Japanische Bezeichnung: 再帰型ニューラルネットワーク(RNN)

„Rekurrentes neuronales Netz (RNN)“ kommt in 2 Übungsfragen aus 1 Themen vor, z. B. Grundlagen des maschinellen Lernens.

Fachgebiet: Grundlagen des maschinellen Lernens

Jetzt üben: Fragen zu Rekurrentes neuronales Netz (RNN)

Welche Beschreibung rekurrenter neuronaler Netze (RNN) und von LSTM trifft zu?

  1. AEin RNN wendet an jeder Position eines Bildes denselben Filter an, um lokale Merkmale zu extrahieren, und ein LSTM verbessert dessen Pooling-Schicht, um es gegen Positionsverschiebungen robust zu machen
  2. BEin RNN behandelt alle Elemente einer Sequenz unabhängig voneinander und verarbeitet sie gleichzeitig parallel, ohne Ergebnisse früherer Zeitschritte zu verwenden; daher trainiert es umso schneller, je länger die Sequenz ist
  3. CEin RNN verarbeitet eine Sequenz der Reihe nach und überträgt den verborgenen Zustand von einem Zeitschritt zum nächsten; ein LSTM steuert mit Gates, ob Information behalten oder vergessen wird, sodass verschwindende Gradienten bei langen Sequenzen seltener auftreten
Antwort und Erläuterung anzeigen

Antwort: C. Ein RNN verarbeitet eine Sequenz der Reihe nach und überträgt den verborgenen Zustand von einem Zeitschritt zum nächsten; ein LSTM steuert mit Gates, ob Information behalten oder vergessen wird, sodass verschwindende Gradienten bei langen Sequenzen seltener auftreten

Ein RNN verarbeitet Sequenzdaten wie Text, Audio oder Sensorzeitreihen Element für Element und gibt die bisherige Information als verborgenen Zustand (Hidden State) an den nächsten Zeitschritt weiter. Da Fehler durch die Zeit zurückpropagiert werden, verschwinden oder explodieren die Gradienten bei langen Sequenzen leicht, sodass sich Information aus der fernen Vergangenheit schwer lernen lässt. Ein LSTM besitzt eine Zelle, die Information speichert, sowie Eingangs-, Vergessens- und Ausgangsgates und kann benötigte Information so lange behalten. Beide müssen jedoch in zeitlicher Reihenfolge rechnen und lassen sich schwer parallelisieren; in diesem Punkt brachte der Transformer eine Verbesserung.

„Rekurrentes neuronales Netz (RNN)“ in den Erläuterungen

Fragen mit „Rekurrentes neuronales Netz (RNN)“ (2)

  1. Welche Beschreibung rekurrenter neuronaler Netze (RNN) und von LSTM trifft zu?
  2. Welche Beschreibung der im Transformer verwendeten Self-Attention trifft zu?

Verwandte Begriffe

Attention Aktivierungsfunktion Bestärkendes Lernen (Reinforcement Learning) Convolutional Neural Network (CNN) Gradientenabstieg (Gradient Descent) Hauptkomponentenanalyse (PCA) k-Means-Algorithmus Konfusionsmatrix (Wahrheitsmatrix) Kreuzvalidierung Precision und Recall

Zur Glossarübersicht