Français
Menu

Qu'est-ce que Précision et rappel (precision and recall) ?

Indicateurs d'évaluation d'un modèle de classification binaire. La précision (precision) est la proportion de cas réellement positifs parmi ceux prédits positifs, TP ÷ (TP + FP) ; le rappel (recall) est la proportion de cas réellement positifs que le modèle a prédits positifs, TP ÷ (TP + FN). En général, quand on fait varier le seuil de décision, l'un augmente quand l'autre diminue. Leur moyenne harmonique, 2PR ÷ (P + R), s'appelle le score F1 (F-mesure).

Nom japonais: 適合率と再現率

« Précision et rappel (precision and recall) » apparaît dans 4 questions d'entraînement réparties sur 1 thèmes, dont Bases de l'apprentissage automatique.

Domaine: Bases de l'apprentissage automatique

Exemple de calcul

Supposons qu'il y ait 100 données réellement positives, que le modèle en classe 40 comme positives, et que 30 d'entre elles soient vraiment positives. La précision vaut 30 ÷ 40 = 0,75 et le rappel 30 ÷ 100 = 0,3. Le score F1 vaut 2 × 0,75 × 0,3 ÷ (0,75 + 0,3) ≈ 0,43, moins que la moyenne arithmétique d'environ 0,53. La moyenne harmonique étant tirée vers la plus petite des deux valeurs, un modèle dont un seul des deux indicateurs est élevé n'obtient pas un bon score F1.

Compromis avec le seuil

De nombreux modèles de classification produisent un score qui exprime la vraisemblance d'être positif, et classent comme positif ce qui dépasse un seuil. Relever le seuil ne classe positif que ce dont le modèle est sûr : la précision tend à augmenter, mais les cas manqués se multiplient et le rappel baisse. Abaisser le seuil produit l'effet inverse. La courbe qui représente la relation entre précision et rappel quand on fait varier le seuil s'appelle la courbe PR ; avec la courbe ROC, qui représente la relation entre taux de vrais positifs et taux de faux positifs, elle sert à comparer les modèles.

Lequel privilégier ?

Pour un dépistage de maladie ou la détection de produits défectueux, où un cas manqué coûte cher, on privilégie le rappel. Quand classer à tort un cas comme positif coûte cher, par exemple un filtre antispam qui mettrait en quarantaine un e-mail nécessaire, on privilégie la précision. Selon l'objectif, on utilise aussi le score Fβ, qui pondère les deux. Pour des données déséquilibrées où les positifs sont très rares, ces indicateurs représentent mieux les performances que l'exactitude.

S'entraîner : questions sur Précision et rappel (precision and recall)

Dans la matrice de confusion d'un modèle de classification binaire évalué sur 200 données de test, on compte 45 vrais positifs (TP), 5 faux positifs (FP), 45 faux négatifs (FN) et 105 vrais négatifs (TN). Quelle combinaison de précision et de rappel est correcte ?

  1. APrécision 0,50, rappel 0,90
  2. BPrécision 0,75, rappel 0,50
  3. CPrécision 0,90, rappel 0,50
Afficher la réponse et l'explication

Réponse : C. Précision 0,90, rappel 0,50

La précision est la proportion de vrais positifs parmi les cas prédits positifs : TP ÷ (TP + FP) = 45 ÷ 50 = 0,90. Le rappel (recall) est la proportion de cas réellement positifs que le modèle a prédits positifs : TP ÷ (TP + FN) = 45 ÷ 90 = 0,50. Ce modèle a presque toujours raison quand il conclut à un positif, mais il manque la moitié des positifs. L'exactitude (accuracy) vaut (45 + 105) ÷ 200 = 0,75.

Un modèle de classification binaire évalué sur 200 données de test donne TP = 20, FP = 5, FN = 30 et TN = 145. Quelle valeur est la plus proche du score F1 (F-mesure) ?

  1. A0,40
  2. B0,53
  3. C0,60
Afficher la réponse et l'explication

Réponse : B. 0,53

La précision vaut d'abord 20 ÷ (20 + 5) = 0,8 et le rappel 20 ÷ (20 + 30) = 0,4. Le score F1 est la moyenne harmonique de la précision et du rappel : 2 × 0,8 × 0,4 ÷ (0,8 + 0,4) = 0,64 ÷ 1,2 ≈ 0,53. La moyenne harmonique est tirée vers la plus petite des deux valeurs : il ne suffit pas que l'une seule soit élevée pour que le score F1 le soit. L'exactitude vaut (20 + 145) ÷ 200 = 0,825, ce qui semble élevé, mais ce modèle manque 6 positifs sur 10.

Questions fréquentes

Quelle est la différence avec l'exactitude (accuracy) ?

L'exactitude est la proportion de prédictions justes sur l'ensemble : (TP + TN) ÷ total. Pour des données ne comptant que 1 % de positifs, il suffit de tout prédire négatif pour obtenir une exactitude de 99 % ; mais le rappel vaut alors 0, ce qui montre que le modèle ne trouve aucun positif.

« Précision » et « exactitude » veulent-elles dire la même chose ?

Pas nécessairement. Dans le langage courant, le mot « précision » est souvent employé au sens d'exactitude (la proportion de toutes les prédictions qui sont justes), alors qu'en classification la précision désigne la proportion de prédictions positives qui sont justes ; il faut donc être prudent. En métrologie, « précision » a encore un autre sens : la concordance entre des mesures répétées. Pour éviter les malentendus, on distingue en classification l'exactitude (accuracy) et la précision (precision).

« Précision et rappel (precision and recall) » dans les explications

Questions mentionnant « Précision et rappel (precision and recall) » (4)

  1. Dans la matrice de confusion d'un modèle de classification binaire évalué sur 200 données de test, on compte 45 vrais positifs (TP), 5 faux positifs (FP), 45 faux négatifs (FN) et 105 vrais négatifs (TN). Quelle combinaison de précision et de rappel est correcte ?
  2. Un modèle de classification binaire évalué sur 200 données de test donne TP = 20, FP = 5, FN = 30 et TN = 145. Quelle valeur est la plus proche du score F1 (F-mesure) ?
  3. Quelle description de la courbe ROC et de l'AUC, utilisées pour évaluer un modèle de classification binaire, est correcte ?
  4. Sur des données qui ne comptent que 10 positifs sur 1000, quelle est l'exactitude d'un modèle qui prédit tout comme négatif ?

Termes associés

Matrice de confusion Moyenne harmonique Algorithme des k-moyennes (k-means) Analyse en composantes principales (ACP) Apprentissage non supervisé Apprentissage par renforcement Apprentissage par transfert (transfer learning) Apprentissage supervisé Descente de gradient (gradient descent) Fonction d'activation

Retour au glossaire