Die Klasse des zweidimensionalen Punkts (0, 0) wird mit dem k-Nächste-Nachbarn-Verfahren vorhergesagt. Die Trainingsdaten bestehen aus den roten Punkten (1, 0), (3, 0) und (0, −3) sowie den blauen Punkten (0, 2) und (−2, 1). Welches Paar von Vorhersagen für k = 3 und k = 5 ist bei euklidischem Abstand richtig?

Antwort: C. k = 3: blau, k = 5: rot

Die Abstände von (0, 0) betragen 1 für den roten Punkt (1, 0), 2 für den blauen Punkt (0, 2), √5 ≈ 2,24 für den blauen Punkt (−2, 1) und je 3 für die roten Punkte (3, 0) und (0, −3). Bei k = 3 sind die drei nächsten Punkte 1 roter und 2 blaue, der Mehrheitsentscheid ergibt also Blau; bei k = 5 werden alle Punkte verwendet, 3 rote und 2 blaue, was Rot ergibt. Das k-Nächste-Nachbarn-Verfahren rechnet beim Training nichts, sondern sucht bei der Vorhersage nahe Punkte, und wie hier gezeigt hängt das Ergebnis vom Wert k ab. Da Abstände verglichen werden, ist eine Standardisierung wichtig, die Einheiten und Größenordnungen der Merkmale angleicht.