Basis van machine learning
Welke beschrijving van recurrente neurale netwerken (RNN's) en LSTM's is juist?
- AEen RNN past op elke positie van een beeld hetzelfde filter toe om lokale kenmerken te extraheren, en een LSTM verbetert de poolinglaag ervan zodat die bestand is tegen verschuivingen in positie
- BEen RNN behandelt alle elementen van een reeks onafhankelijk van elkaar en verwerkt ze tegelijk en parallel zonder resultaten van eerdere tijdstappen te gebruiken, zodat langere reeksen sneller trainen
- CEen RNN verwerkt een reeks op volgorde en geeft de verborgen toestand door van de ene tijdstap naar de volgende, en een LSTM regelt met gates of informatie wordt bewaard of vergeten, zodat verdwijnende gradiënten bij lange reeksen minder snel optreden
Antwoord en toelichting tonen
Antwoord: C. Een RNN verwerkt een reeks op volgorde en geeft de verborgen toestand door van de ene tijdstap naar de volgende, en een LSTM regelt met gates of informatie wordt bewaard of vergeten, zodat verdwijnende gradiënten bij lange reeksen minder snel optreden
Een RNN verwerkt reeksgegevens zoals tekst, audio of tijdreeksen van sensoren element voor element en geeft de informatie tot dan toe als verborgen toestand door aan de volgende tijdstap. Omdat fouten terug in de tijd worden gepropageerd, verdwijnen of exploderen de gradiënten bij lange reeksen gemakkelijk, zodat informatie uit het verre verleden moeilijk te leren is. Een LSTM heeft een cel die informatie opslaat en een input-gate, een forget-gate en een output-gate, zodat benodigde informatie lang kan worden bewaard. Beide moeten echter in tijdsvolgorde rekenen en zijn moeilijk te paralleliseren; op dat punt bracht de Transformer een verbetering.