Nederlands
Menu

Wat is Recurrent neuraal netwerk (RNN)?

Een neuraal netwerk dat reeksgegevens element voor element verwerkt en de informatie tot dan toe als verborgen toestand doorgeeft aan de volgende tijdstap. Op elke tijdstap worden dezelfde gewichten hergebruikt, zodat reeksen van verschillende lengte kunnen worden verwerkt. Omdat bij lange reeksen gemakkelijk verdwijnende gradiënten optreden, zijn LSTM en GRU ontwikkeld, die het bewaren en vergeten van informatie met gates regelen. Omdat het in tijdsvolgorde moet rekenen en moeilijk te paralleliseren is, is het in veel toepassingen voor taalverwerking vervangen door de Transformer.

Japanse benaming: 再帰型ニューラルネットワーク(RNN)

“Recurrent neuraal netwerk (RNN)” komt voor in 2 oefenvragen uit 1 onderwerpen, bijv. Basis van machine learning.

Vakgebied: Basis van machine learning

Nu oefenen: vragen over Recurrent neuraal netwerk (RNN)

Welke beschrijving van recurrente neurale netwerken (RNN's) en LSTM's is juist?

  1. AEen RNN past op elke positie van een beeld hetzelfde filter toe om lokale kenmerken te extraheren, en een LSTM verbetert de poolinglaag ervan zodat die bestand is tegen verschuivingen in positie
  2. BEen RNN behandelt alle elementen van een reeks onafhankelijk van elkaar en verwerkt ze tegelijk en parallel zonder resultaten van eerdere tijdstappen te gebruiken, zodat langere reeksen sneller trainen
  3. CEen RNN verwerkt een reeks op volgorde en geeft de verborgen toestand door van de ene tijdstap naar de volgende, en een LSTM regelt met gates of informatie wordt bewaard of vergeten, zodat verdwijnende gradiënten bij lange reeksen minder snel optreden
Antwoord en toelichting tonen

Antwoord: C. Een RNN verwerkt een reeks op volgorde en geeft de verborgen toestand door van de ene tijdstap naar de volgende, en een LSTM regelt met gates of informatie wordt bewaard of vergeten, zodat verdwijnende gradiënten bij lange reeksen minder snel optreden

Een RNN verwerkt reeksgegevens zoals tekst, audio of tijdreeksen van sensoren element voor element en geeft de informatie tot dan toe als verborgen toestand door aan de volgende tijdstap. Omdat fouten terug in de tijd worden gepropageerd, verdwijnen of exploderen de gradiënten bij lange reeksen gemakkelijk, zodat informatie uit het verre verleden moeilijk te leren is. Een LSTM heeft een cel die informatie opslaat en een input-gate, een forget-gate en een output-gate, zodat benodigde informatie lang kan worden bewaard. Beide moeten echter in tijdsvolgorde rekenen en zijn moeilijk te paralleliseren; op dat punt bracht de Transformer een verbetering.

“Recurrent neuraal netwerk (RNN)” in de toelichting

Vragen met “Recurrent neuraal netwerk (RNN)” (2)

  1. Welke beschrijving van recurrente neurale netwerken (RNN's) en LSTM's is juist?
  2. Welke beschrijving van de self-attention die in de Transformer wordt gebruikt, is juist?

Verwante termen

Attention Activatiefunctie Convolutioneel neuraal netwerk (CNN) Gesuperviseerd leren (supervised learning) Gradiëntafdaling (gradient descent) Hoofdcomponentenanalyse (PCA) k-means-clustering Kruisvalidatie (cross-validation) Ongesuperviseerd leren (unsupervised learning) Overfitting (overaanpassing)

Naar de woordenlijst