On prédit la classe du point (0 ; 0) du plan par la méthode des k plus proches voisins. Les données d'apprentissage sont les points rouges (1 ; 0), (3 ; 0) et (0 ; −3) et les points bleus (0 ; 2) et (−2 ; 1). Avec la distance euclidienne, quelle combinaison des prédictions pour k = 3 et pour k = 5 est correcte ?

Réponse : C. Bleu pour k = 3, rouge pour k = 5

Les distances à (0 ; 0) sont de 1 pour le point rouge (1 ; 0), de 2 pour le point bleu (0 ; 2), de √5 ≈ 2,24 pour le point bleu (−2 ; 1) et de 3 pour les points rouges (3 ; 0) et (0 ; −3). Pour k = 3, les trois points les plus proches sont un rouge et deux bleus : le vote majoritaire donne bleu. Pour k = 5, on utilise tous les points, soit trois rouges et deux bleus : rouge. La méthode des k plus proches voisins ne calcule rien pendant l'apprentissage et cherche les points proches au moment de la prédiction ; comme on le voit, le résultat change selon la valeur de k. Comme elle compare des distances, il est important de standardiser les caractéristiques pour harmoniser leurs unités et leurs ordres de grandeur.