Wat is Transfer learning (overdrachtsleren)?

Een methode om de kennis (zoals manieren om kenmerken te extraheren) die een model bij één taak heeft verworven, toe te passen op een andere taak. Uitgaande van de gewichten van een model dat vooraf op een grote hoeveelheid gegevens is getraind, wordt de uitvoerlaag vervangen of wordt een deel of het geheel van het model op gegevens voor de nieuwe taak bijgetraind (fine-tuning). Het bereikt doorgaans met minder gegevens en rekenwerk dan trainen vanaf nul een hoge prestatie, en wordt veel gebruikt bij beeldherkenning en taalmodellen.

Japanse benaming: 転移学習

“Transfer learning (overdrachtsleren)” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. Basis van machine learning.

Vakgebied: Basis van machine learning

Nu oefenen: vragen over Transfer learning (overdrachtsleren)

Welke beschrijving van transfer learning, waarbij een model dat op een grote hoeveelheid gegevens is getraind met weinig gegevens voor een andere taak wordt gebruikt, is juist?

AUitgaande van de gewichten van het getrainde model wordt de uitvoerlaag vervangen om bij de nieuwe taak te passen, of wordt een deel of het geheel van het model op de nieuwe gegevens bijgetraind (fine-tuning)
BHet getrainde model wordt niet gebruikt; alle lagen worden opnieuw getraind vanaf willekeurig geïnitialiseerde gewichten, met alleen de kleine hoeveelheid gegevens voor de nieuwe taak
CEen klein model wordt getraind om de uitvoer van een groot model na te bootsen, zodat dezelfde taak met minder rekenwerk en geheugen kan worden opgelost

Antwoord en toelichting tonen

Antwoord: A. Uitgaande van de gewichten van het getrainde model wordt de uitvoerlaag vervangen om bij de nieuwe taak te passen, of wordt een deel of het geheel van het model op de nieuwe gegevens bijgetraind (fine-tuning)

Transfer learning benut de kenmerken die een model bij één taak heeft geleerd voor een andere taak. De lagen dicht bij de invoer van een CNN dat op zeer veel beelden is getraind, kunnen bijvoorbeeld algemene kenmerken zoals randen en texturen extraheren; daarom wordt alleen de uitvoerlaag vervangen en voor de nieuwe taak getraind, of wordt het hele netwerk met een kleine leersnelheid bijgetraind (fine-tuning). Zo wordt met minder gegevens en rekenwerk dan bij trainen vanaf nul gemakkelijk een hoge prestatie bereikt; de methode wordt ook gebruikt om taalmodellen op specifieke toepassingen af te stemmen.

“Transfer learning (overdrachtsleren)” in de toelichting

Transfer learning benut de kenmerken die een model bij één taak heeft geleerd voor een andere taak.
Welke beschrijving van transfer learning, waarbij een model…

Vragen met “Transfer learning (overdrachtsleren)” (1)

Welke beschrijving van transfer learning, waarbij een model dat op een grote hoeveelheid gegevens is getraind met weinig gegevens voor een andere taak wordt gebruikt, is juist?

Verwante termen

Convolutioneel neuraal netwerk (CNN) Activatiefunctie Gesuperviseerd leren (supervised learning) Gradiëntafdaling (gradient descent) Hoofdcomponentenanalyse (PCA) k-means-clustering Kruisvalidatie (cross-validation) Ongesuperviseerd leren (unsupervised learning) Overfitting (overaanpassing) Precisie en recall (precision and recall)

Naar de woordenlijst