Quelle description des techniques destinées à limiter le surapprentissage, comme la régularisation, est correcte ?

Réponse : A. La régularisation L1 ajoute à la fonction de perte la somme des valeurs absolues des poids, et tend à rendre certains poids exactement nuls

La régularisation ajoute à la fonction de perte une pénalité qui dépend de la taille des poids, pour empêcher ceux-ci de devenir trop grands et garder un modèle simple. La régularisation L1 ajoute la somme des valeurs absolues des poids ; comme elle tend à rendre certains poids exactement nuls, elle sélectionne les caractéristiques utilisées (régression Lasso). La régularisation L2 ajoute la somme des carrés des poids ; elle réduit l'ensemble des poids mais les rend rarement exactement nuls (régression ridge, weight decay). Le dropout désactive au hasard des neurones pendant l'apprentissage seulement, pour éviter de trop dépendre de certains neurones ; lors de l'inférence, tous les neurones sont utilisés.