Français
Menu

Apprentissage supervisé vs non supervisé vs par renforcement : données, réponses fournies, objectifs, méthodes, exemples

L’apprentissage automatique se divise en trois grands types selon ce qui sert de guide pour apprendre à partir des données. L’apprentissage supervisé reçoit des paires d’entrées et de bonnes réponses (étiquettes) et apprend un modèle qui prédit la réponse à partir de l’entrée. L’apprentissage non supervisé trouve, à partir des seules données et sans bonnes réponses, des groupes d’éléments semblables ou des structures qui représentent les données avec moins de variables. Dans l’apprentissage par renforcement, un agent (l’apprenant) choisit des actions dans un environnement et apprend par essais et erreurs une façon de choisir ses actions (une politique) qui maximise la récompense totale qu’il en retire. Règle de base : l’apprentissage supervisé quand les bonnes réponses sont disponibles et qu’on veut des prédictions, l’apprentissage non supervisé quand il n’y a pas de réponses et qu’on veut comprendre la structure des données, et l’apprentissage par renforcement quand l’apprenant doit juger une suite d’actions à son résultat.

CritèreApprentissage superviséApprentissage non superviséApprentissage par renforcement
Données d’entraînementPaires d’entrées et de bonnes réponses (étiquettes)Seulement des données d’entrée, sans bonnes réponsesEnregistrements d’états, d’actions et de récompenses issus de l’interaction avec un environnement, collectés en agissant plutôt que préparés à l’avance
Manière dont les bonnes réponses sont fourniesLa sortie correcte est donnée pour chaque entréeElles ne sont pas fourniesPas de bonne réponse par action ; seulement une évaluation, la récompense, qui arrive souvent avec un retard
Objectif de l’apprentissagePrédire correctement la sortie pour de nouvelles entréesTrouver des groupes et une structure dans les donnéesTrouver une politique qui maximise la récompense totale reçue au fil du temps
Tâches principalesRégression (prédire des nombres) et classification (prédire des classes)Partitionnement (clustering), réduction de dimension, détection d’anomaliesChoix de suites d’actions (commande de machines, coups dans les jeux, choix d’un ordre, etc.)
Méthodes typiquesRégression linéaire, régression logistique, arbres de décision, machines à vecteurs de support, réseaux de neuronesAlgorithme des k-moyennes, classification hiérarchique, analyse en composantes principales (ACP)Q-learning, méthodes de gradient de politique
ÉvaluationSur des données de test mises de côté, par comparaison avec les bonnes réponses : exactitude, précision et rappel, erreur quadratique moyenne, etc.Difficile sans bonnes réponses ; on juge à l’aide de mesures de la cohésion des groupes, ou selon que les résultats ont un sens pour des humainsPar la récompense totale obtenue (récompense cumulée)
Principales difficultésPréparer les étiquettes coûte du temps et de l’argent ; il faut surveiller le surapprentissageDifficile de juger si les résultats sont bons, et des humains doivent interpréter la signification des groupes trouvésDemande souvent de nombreux essais ; expérimenter sur du matériel réel est risqué et coûteux, d’où un recours fréquent à la simulation ; concevoir la récompense est aussi difficile
Exemples d’utilisationFiltrage du spam, reconnaissance d’images, prévision de la demande et des prix, prédiction des pannes d’équipementsSegmentation de la clientèle, visualisation des données et prétraitement pour l’apprentissage, détection des transactions frauduleuses et des anomalies d’équipementsJeux comme le go, commande de robots, ajustement des sorties des modèles de langage aux évaluations humaines

Les valeurs indiquées sont des ordres de grandeur typiques et varient selon la génération de procédé et le produit.

Quand choisir l'un ou l'autre ?

Apprentissage supervisé
Lorsque les données passées contiennent les bonnes réponses (les résultats) et qu’on veut prédire la même chose pour de nouvelles données. La plupart de l’apprentissage automatique utilisé en pratique relève de ce type.
Apprentissage non supervisé
Lorsqu’on veut trouver des groupes ou des tendances dans des données sans étiquettes, ou pour lesquelles les étiquettes sont difficiles à préparer. La réduction de dimension sert aussi de prétraitement pour l’apprentissage supervisé.
Apprentissage par renforcement
Lorsqu’il est difficile d’indiquer la bonne réponse à chaque étape, mais que le résultat des actions peut être évalué. On l’utilise pour des problèmes où une suite d’actions doit être décidée en tenant compte des résultats de nombreuses étapes plus loin.

Questions fréquentes

La détection d’anomalies relève-t-elle de l’apprentissage supervisé ou non supervisé ?

Des deux, selon les données. Apprendre les motifs des données normales et traiter comme anomalie tout ce qui s’en écarte fortement n’utilise pas d’étiquettes d’anomalie : c’est donc une méthode non supervisée. Si des exemples anormaux sont aussi étiquetés et en nombre suffisant, la tâche peut être traitée comme une classification supervisée. En pratique, les exemples anormaux sont souvent très rares, et les méthodes non supervisées sont donc très utilisées.

Que sont l’apprentissage semi-supervisé et l’apprentissage auto-supervisé ?

L’apprentissage semi-supervisé combine une petite quantité de données étiquetées avec une grande quantité de données non étiquetées. L’apprentissage auto-supervisé crée les bonnes réponses à partir des données elles-mêmes, par exemple en masquant une partie d’un texte et en faisant prédire celle-ci par le modèle ; il sert notamment au pré-entraînement des grands modèles de langage. Tous deux se situent entre l’apprentissage supervisé et non supervisé et visent à réduire l’effort de préparation des étiquettes.

Quelle est la principale différence entre l’apprentissage par renforcement et l’apprentissage supervisé ?

Dans l’apprentissage supervisé, la sortie correcte est donnée pour chaque entrée, et le modèle apprend à réduire l’écart avec elle. Dans l’apprentissage par renforcement, aucune bonne réponse n’est donnée pour chaque action ; le seul guide est une évaluation appelée récompense. De plus, la récompense n’arrive souvent qu’après toute une suite d’actions, si bien que l’apprenant doit déterminer lui-même quelles actions étaient bonnes. Il s’en distingue aussi par le fait que l’apprenant collecte ses propres données d’entraînement par ses actions.

Vérifier vos connaissances

Parmi les tâches d'apprentissage supervisé suivantes, laquelle est une régression ?

  1. ADéterminer, à partir du texte d'un e-mail, s'il s'agit d'un spam
  2. BReconnaître quel chiffre de 0 à 9 représente l'image d'un chiffre manuscrit
  3. CPrédire le prix d'un logement à partir de sa surface, de sa distance à la gare, etc.
Afficher la réponse et l'explication

Réponse : C. Prédire le prix d'un logement à partir de sa surface, de sa distance à la gare, etc.

L'apprentissage supervisé entraîne, à partir de paires formées d'une entrée et de la bonne réponse (étiquette), un modèle qui prédit la sortie à partir de l'entrée. Quand la sortie à prédire est une valeur numérique continue, on parle de régression ; quand c'est l'une d'un nombre fixé de classes, on parle de classification. Le prix d'un logement est une valeur continue : c'est une régression. La détection de spam est une classification à deux classes, et la reconnaissance de chiffres manuscrits une classification à dix classes.

Lequel des exemples suivants relève de l'apprentissage non supervisé ?

  1. ARépartir les clients en plusieurs groupes aux comportements d'achat semblables, à partir de leur seul historique d'achats
  2. BPrédire les pannes d'un équipement à partir des valeurs de ses capteurs, en prenant comme bonnes réponses l'historique des pannes passées
  3. CApprendre à choisir ses actions dans un jeu de façon à maximiser la récompense obtenue par essais et erreurs
Afficher la réponse et l'explication

Réponse : A. Répartir les clients en plusieurs groupes aux comportements d'achat semblables, à partir de leur seul historique d'achats

L'apprentissage non supervisé découvre des regroupements ou des structures dans des données sans étiquettes de bonne réponse. Ses méthodes typiques sont le clustering, qui regroupe les données semblables, et la réduction de dimension, qui représente les données avec moins de variables. Prédire en s'appuyant sur une bonne réponse (panne ou non) relève de l'apprentissage supervisé, et apprendre des actions à partir de récompenses relève de l'apprentissage par renforcement.

Quelle description de l'apprentissage par renforcement est correcte ?

  1. AOn fournit un grand nombre de paires entrée-bonne réponse, et l'on apprend une fonction qui prédit la bonne réponse à partir de l'entrée en réduisant l'écart entre la prédiction et la bonne réponse
  2. BUn agent agit dans un environnement et apprend une manière de choisir ses actions (politique) qui maximise la somme des récompenses obtenues
  3. COn répartit des données sans bonne réponse en plusieurs groupes, de sorte que les éléments aux caractéristiques semblables se retrouvent dans le même groupe
Afficher la réponse et l'explication

Réponse : B. Un agent agit dans un environnement et apprend une manière de choisir ses actions (politique) qui maximise la somme des récompenses obtenues

En apprentissage par renforcement, l'entité qui apprend (l'agent) observe l'état de l'environnement, choisit une action et reçoit en retour une récompense. Aucune bonne réponse n'est donnée action par action : l'agent apprend par essais et erreurs une politique qui maximise la somme des récompenses reçues à l'avenir. On l'utilise pour des jeux comme le go, la commande de robots, ou l'ajustement des sorties d'un modèle de langage aux évaluations humaines.

  1. Quelle description de la procédure de clustering par l'algorithme des k-moyennes (k-means) est correcte ?
  2. Quelle description de l'analyse en composantes principales (ACP) est correcte ?

Questions d'entraînement sur Bases de l'apprentissage automatique

Termes clés expliqués

Apprentissage supervisé
Méthode d'apprentissage automatique qui entraîne, à partir de données formées de paires entrée-bonne réponse (étiquette), un modèle qui prédit la bonne réponse à partir de l'entrée. Quand la sortie à prédire est une valeur numérique continue, on parle de régression ; quand c'est l'une d'un nombre fixé de classes, de classification. On utilise des modèles comme la régression linéaire, la régression logistique, les arbres de décision, les machines à vecteurs de support ou les réseaux de neurones. La préparation des étiquettes demande souvent beaucoup de travail.
Apprentissage non supervisé
Méthode d'apprentissage automatique qui découvre des regroupements ou des structures dans des données sans étiquettes de bonne réponse. On l'utilise pour le clustering, qui regroupe les données semblables (algorithme des k-moyennes, etc.), la réduction de dimension, qui représente les données avec moins de variables (analyse en composantes principales, etc.), ou la détection d'anomalies, qui repère les données très différentes des autres. Elle n'exige pas de préparer des étiquettes, mais la qualité de ses résultats est difficile à évaluer.
Apprentissage par renforcement
Méthode d'apprentissage automatique dans laquelle un agent (l'entité qui apprend) observe l'état de l'environnement, choisit des actions et apprend par essais et erreurs une manière de les choisir (politique) qui maximise la somme des récompenses reçues en retour, y compris les récompenses futures. Aucune bonne réponse n'est donnée action par action, et la récompense arrive souvent avec retard. On l'utilise pour les jeux, la commande de robots ou l'ajustement des sorties d'un modèle de langage aux évaluations humaines.
Algorithme des k-moyennes (k-means)
Méthode de clustering courante qui répartit les données en un nombre k de clusters fixé à l'avance. On fixe provisoirement k centres, puis on répète, jusqu'à ce que les affectations ne changent plus, l'affectation de chaque donnée au cluster du centre le plus proche et le remplacement de chaque centre par la moyenne des données de son cluster. Simple à calculer, elle s'applique aussi aux grands volumes de données, mais son résultat dépend des valeurs initiales, k doit être choisi par l'utilisateur, et elle sépare mal les groupes qui ne sont pas sphériques.
Analyse en composantes principales (ACP)
Méthode de réduction de dimension (en anglais PCA) qui représente des données à nombreuses variables avec moins de variables, en perdant le moins d'information possible. On détermine successivement la direction de plus grande variance des données (première composante principale), puis, parmi les directions orthogonales à celle-ci, celle de plus grande variance (deuxième composante principale), et ainsi de suite, et l'on représente les données avec seulement les premières composantes. Mathématiquement, cela revient à calculer les vecteurs propres de la matrice de covariance des données. On l'utilise pour visualiser les données, éliminer le bruit ou comme prétraitement avant l'apprentissage.
Surapprentissage (overfitting)
État dans lequel un modèle a mémorisé jusqu'aux détails des données d'apprentissage et au bruit qu'elles contiennent par hasard, si bien que son erreur est faible sur ces données mais élevée sur de nouvelles données (erreur de généralisation). Il survient facilement quand un modèle complexe à nombreux paramètres est entraîné sur peu de données. On le limite en augmentant les données, en simplifiant le modèle, par la régularisation, le dropout ou l'arrêt précoce.
Précision et rappel (precision and recall)
Indicateurs d'évaluation d'un modèle de classification binaire. La précision (precision) est la proportion de cas réellement positifs parmi ceux prédits positifs, TP ÷ (TP + FP) ; le rappel (recall) est la proportion de cas réellement positifs que le modèle a prédits positifs, TP ÷ (TP + FN). En général, quand on fait varier le seuil de décision, l'un augmente quand l'autre diminue. Leur moyenne harmonique, 2PR ÷ (P + R), s'appelle le score F1 (F-mesure).

Comparatifs associés