Qu'est-ce que Apprentissage par transfert (transfer learning) ?

Méthode qui met à profit pour une autre tâche les connaissances (manière d'extraire des caractéristiques, etc.) acquises par un modèle entraîné sur une première tâche. On part des poids d'un modèle pré-entraîné sur une grande quantité de données, puis on remplace la couche de sortie ou l'on réentraîne une partie ou la totalité du modèle sur les données de la nouvelle tâche (fine-tuning). On obtient plus facilement de bonnes performances avec moins de données et de calcul qu'en partant de zéro ; la méthode est très utilisée en reconnaissance d'images et pour les modèles de langage.

Nom japonais: 転移学習

« Apprentissage par transfert (transfer learning) » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Bases de l'apprentissage automatique.

Domaine: Bases de l'apprentissage automatique

S'entraîner : questions sur Apprentissage par transfert (transfer learning)

Quelle description de l'apprentissage par transfert, qui réutilise un modèle pré-entraîné sur une grande quantité de données pour une autre tâche disposant de peu de données, est correcte ?

AOn part des poids du modèle pré-entraîné, puis on remplace la couche de sortie pour l'adapter à la nouvelle tâche, ou l'on réentraîne une partie ou la totalité du modèle sur les nouvelles données (fine-tuning)
BOn n'utilise pas le modèle pré-entraîné et l'on réentraîne toutes les couches à partir de poids initialisés au hasard, avec seulement les quelques données de la nouvelle tâche
COn entraîne un petit modèle à imiter les sorties d'un grand modèle, pour résoudre la même tâche avec moins de calcul et de mémoire

Afficher la réponse et l'explication

Réponse : A. On part des poids du modèle pré-entraîné, puis on remplace la couche de sortie pour l'adapter à la nouvelle tâche, ou l'on réentraîne une partie ou la totalité du modèle sur les nouvelles données (fine-tuning)

L'apprentissage par transfert met à profit pour une autre tâche les caractéristiques acquises par un modèle entraîné sur une première tâche. Par exemple, les couches proches de l'entrée d'un CNN entraîné sur une grande quantité d'images savent extraire des caractéristiques générales comme les contours ou les motifs : on peut donc ne remplacer et n'entraîner que la couche de sortie pour la nouvelle tâche, ou réentraîner l'ensemble avec un faible taux d'apprentissage (fine-tuning). On obtient plus facilement de bonnes performances avec moins de données et de calcul qu'en partant de zéro, et la méthode sert aussi à adapter un modèle de langage à un usage particulier.

« Apprentissage par transfert (transfer learning) » dans les explications

L'apprentissage par transfert met à profit pour une autre tâche les caractéristiques acquises par un modèle entraîné sur une première tâche.
Quelle description de l'apprentissage par transfert, qui ré…

Questions mentionnant « Apprentissage par transfert (transfer learning) » (1)

Quelle description de l'apprentissage par transfert, qui réutilise un modèle pré-entraîné sur une grande quantité de données pour une autre tâche disposant de peu de données, est correcte ?

Termes associés

Réseau de neurones convolutif (CNN) Algorithme des k-moyennes (k-means) Analyse en composantes principales (ACP) Apprentissage non supervisé Apprentissage par renforcement Apprentissage supervisé Descente de gradient (gradient descent) Fonction d'activation Matrice de confusion Précision et rappel (precision and recall)

Retour au glossaire