Français
Menu

Qu'est-ce que Régularisation ?

Méthode qui ajoute à la fonction de perte un terme de pénalité dépendant de la taille des poids, pour empêcher ceux-ci de devenir trop grands et limiter le surapprentissage. La régularisation L1, qui ajoute la somme des valeurs absolues des poids, tend à rendre certains poids exactement nuls ; la régularisation L2 (weight decay), qui ajoute la somme de leurs carrés, réduit l'ensemble des poids. L'intensité de la pénalité est un hyperparamètre que l'on fixe par validation croisée ou autre. Au sens large, on appelle aussi régularisation l'ensemble des procédés qui améliorent la capacité de généralisation, comme le dropout ou l'arrêt précoce.

Nom japonais: 正則化

« Régularisation » apparaît dans 2 questions d'entraînement réparties sur 1 thèmes, dont Bases de l'apprentissage automatique.

Domaine: Bases de l'apprentissage automatique

S'entraîner : questions sur Régularisation

Quelle description des techniques destinées à limiter le surapprentissage, comme la régularisation, est correcte ?

  1. ALa régularisation L1 ajoute à la fonction de perte la somme des valeurs absolues des poids, et tend à rendre certains poids exactement nuls
  2. BLa régularisation L2 ajoute à la fonction de perte la somme des valeurs absolues des poids, et sert surtout à annuler les poids inutiles pour sélectionner les caractéristiques
  3. CLe dropout désactive à chaque passage des neurones choisis au hasard, aussi bien pendant l'apprentissage que pendant l'inférence, pour donner de la variabilité aux sorties
Afficher la réponse et l'explication

Réponse : A. La régularisation L1 ajoute à la fonction de perte la somme des valeurs absolues des poids, et tend à rendre certains poids exactement nuls

La régularisation ajoute à la fonction de perte une pénalité qui dépend de la taille des poids, pour empêcher ceux-ci de devenir trop grands et garder un modèle simple. La régularisation L1 ajoute la somme des valeurs absolues des poids ; comme elle tend à rendre certains poids exactement nuls, elle sélectionne les caractéristiques utilisées (régression Lasso). La régularisation L2 ajoute la somme des carrés des poids ; elle réduit l'ensemble des poids mais les rend rarement exactement nuls (régression ridge, weight decay). Le dropout désactive au hasard des neurones pendant l'apprentissage seulement, pour éviter de trop dépendre de certains neurones ; lors de l'inférence, tous les neurones sont utilisés.

« Régularisation » dans les explications

Questions mentionnant « Régularisation » (2)

  1. Quelle description des techniques destinées à limiter le surapprentissage, comme la régularisation, est correcte ?
  2. Quelle observation est caractéristique d'un surapprentissage (surajustement) ?

Termes associés

Surapprentissage (overfitting) Inférence Algorithme des k-moyennes (k-means) Analyse en composantes principales (ACP) Apprentissage non supervisé Apprentissage par renforcement Apprentissage par transfert (transfer learning) Apprentissage supervisé Descente de gradient (gradient descent) Fonction d'activation

Retour au glossaire