Welche Beschreibung rekurrenter neuronaler Netze (RNN) und von LSTM trifft zu?

Antwort: C. Ein RNN verarbeitet eine Sequenz der Reihe nach und überträgt den verborgenen Zustand von einem Zeitschritt zum nächsten; ein LSTM steuert mit Gates, ob Information behalten oder vergessen wird, sodass verschwindende Gradienten bei langen Sequenzen seltener auftreten

Ein RNN verarbeitet Sequenzdaten wie Text, Audio oder Sensorzeitreihen Element für Element und gibt die bisherige Information als verborgenen Zustand (Hidden State) an den nächsten Zeitschritt weiter. Da Fehler durch die Zeit zurückpropagiert werden, verschwinden oder explodieren die Gradienten bei langen Sequenzen leicht, sodass sich Information aus der fernen Vergangenheit schwer lernen lässt. Ein LSTM besitzt eine Zelle, die Information speichert, sowie Eingangs-, Vergessens- und Ausgangsgates und kann benötigte Information so lange behalten. Beide müssen jedoch in zeitlicher Reihenfolge rechnen und lassen sich schwer parallelisieren; in diesem Punkt brachte der Transformer eine Verbesserung.