Deutsch
Menü

Überwachtes vs. unüberwachtes vs. bestärkendes Lernen: Daten, Vorgabe der Antworten, Ziele, Methoden und Beispiele

Maschinelles Lernen lässt sich danach, woran es sich beim Lernen aus Daten orientiert, in drei große Arten einteilen. Überwachtes Lernen erhält Paare aus Eingaben und richtigen Antworten (Labels) und lernt ein Modell, das die Antwort aus der Eingabe vorhersagt. Unüberwachtes Lernen findet allein aus Daten ohne richtige Antworten Gruppen ähnlicher Elemente oder Strukturen, die die Daten mit weniger Variablen darstellen. Beim bestärkenden Lernen wählt ein Agent (der Lernende) in einer Umgebung Handlungen und lernt durch Versuch und Irrtum eine Art der Handlungswahl (eine Strategie, Policy), mit der die Summe der dabei erhaltenen Belohnungen groß wird. Die Grundregel: überwachtes Lernen, wenn richtige Antworten vorliegen und Vorhersagen gewünscht sind, unüberwachtes Lernen, wenn es keine Antworten gibt und die Struktur der Daten verstanden werden soll, und bestärkendes Lernen, wenn eine Folge von Handlungen nach ihrem Ergebnis beurteilt werden soll.

MerkmalÜberwachtes LernenUnüberwachtes LernenBestärkendes Lernen
TrainingsdatenPaare aus Eingaben und richtigen Antworten (Labels)Nur Eingabedaten ohne richtige AntwortenAufzeichnungen von Zuständen, Handlungen und Belohnungen aus der Interaktion mit einer Umgebung, gesammelt beim Handeln statt vorab bereitgestellt
Vorgabe der richtigen AntwortenFür jede Eingabe wird die richtige Ausgabe vorgegebenKeineKeine richtige Antwort pro Handlung; nur eine Bewertung, die Belohnung, die oft verzögert eintrifft
LernzielDie Ausgabe für neue Eingaben richtig vorhersagenGruppen und Strukturen in den Daten findenEine Strategie finden, die die Summe der künftig erhaltenen Belohnungen maximiert
HauptaufgabenRegression (Zahlen vorhersagen) und Klassifikation (Klassen vorhersagen)Clustering, Dimensionsreduktion, AnomalieerkennungWahl von Handlungsfolgen (Steuern von Maschinen, Züge in Spielen, Festlegen von Reihenfolgen usw.)
Typische MethodenLineare Regression, logistische Regression, Entscheidungsbäume, Support Vector Machines, neuronale Netzek-Means, hierarchisches Clustering, Hauptkomponentenanalyse (PCA)Q-Learning, Policy-Gradient-Verfahren
BewertungAuf zurückgehaltenen Testdaten im Vergleich mit den richtigen Antworten, etwa mit Accuracy, Precision und Recall oder dem mittleren quadratischen FehlerOhne richtige Antworten schwer zu bewerten; beurteilt mit Maßen dafür, wie gut Gruppen zusammenhalten, oder danach, ob Menschen die Ergebnisse sinnvoll findenAnhand der Summe der erhaltenen Belohnungen (kumulative Belohnung)
SchwierigkeitenDas Erstellen von Labels kostet Zeit und Geld; auf Überanpassung ist zu achtenSchwer zu beurteilen, ob die Ergebnisse gut sind, und die Bedeutung der gefundenen Gruppen muss von Menschen gedeutet werdenBraucht oft viele Versuche; Ausprobieren an echten Geräten ist riskant und teuer, daher wird oft Simulation verwendet; auch die Gestaltung der Belohnung ist schwierig
AnwendungsbeispieleSpam-Erkennung, Bilderkennung, Nachfrage- und Preisprognosen, Vorhersage von GeräteausfällenKundensegmentierung, Datenvisualisierung und Vorverarbeitung für das Lernen, Erkennung betrügerischer Transaktionen und von GeräteanomalienSpiele wie Go, Robotersteuerung, Anpassen der Ausgaben von Sprachmodellen an menschliche Bewertungen

Die Zahlenwerte sind typische Größenordnungen und variieren je nach Prozessgeneration und Produkt.

Wann welche Variante?

Überwachtes Lernen
Wenn in vergangenen Daten die richtigen Antworten (Ergebnisse) erfasst sind und dasselbe für neue Daten vorhergesagt werden soll. Das meiste in der Praxis eingesetzte maschinelle Lernen gehört zu dieser Art.
Unüberwachtes Lernen
Wenn in Daten ohne Labels oder mit schwer zu erstellenden Labels Gruppen oder Tendenzen gefunden werden sollen. Dimensionsreduktion wird auch als Vorverarbeitung für überwachtes Lernen eingesetzt.
Bestärkendes Lernen
Wenn sich die richtige Antwort nicht Schritt für Schritt vorgeben lässt, das Ergebnis von Handlungen aber bewertet werden kann. Es wird für Probleme eingesetzt, bei denen eine Folge von Handlungen unter Berücksichtigung der Ergebnisse viele Schritte voraus festgelegt werden muss.

Häufige Fragen

Ist Anomalieerkennung überwachtes oder unüberwachtes Lernen?

Je nach Daten kann sie beides sein. Wer die Muster normaler Daten lernt und alles, was stark davon abweicht, als Anomalie behandelt, verwendet keine Anomalie-Labels; das ist ein unüberwachtes Verfahren. Sind auch Anomaliebeispiele gelabelt und in ausreichender Zahl vorhanden, lässt sich die Aufgabe als überwachte Klassifikation behandeln. In der Praxis sind Anomaliebeispiele oft sehr selten, daher sind unüberwachte Verfahren weit verbreitet.

Was sind halbüberwachtes und selbstüberwachtes Lernen?

Halbüberwachtes Lernen kombiniert eine kleine Menge gelabelter Daten mit einer großen Menge ungelabelter Daten. Selbstüberwachtes Lernen erzeugt die richtigen Antworten aus den Daten selbst, etwa indem ein Teil eines Textes verdeckt und vom Modell vorhergesagt wird; es wird unter anderem für das Vortraining großer Sprachmodelle verwendet. Beide liegen zwischen überwachtem und unüberwachtem Lernen und sollen den Aufwand für das Erstellen von Labels verringern.

Was ist der Hauptunterschied zwischen bestärkendem und überwachtem Lernen?

Beim überwachten Lernen wird für jede Eingabe die richtige Ausgabe vorgegeben, und das Modell lernt, die Abweichung davon zu verringern. Beim bestärkenden Lernen gibt es keine richtige Antwort pro Handlung; einziger Anhaltspunkt ist eine Bewertung, die Belohnung. Zudem kommt die Belohnung oft erst nach einer ganzen Folge von Handlungen, sodass der Lernende selbst herausfinden muss, welche Handlungen gut waren. Ein weiterer Unterschied: Der Lernende sammelt seine Trainingsdaten durch seine eigenen Handlungen.

Verständnis prüfen

Welche der folgenden Aufgaben aus dem Bereich „überwachtes Lernen“ ist eine Regression?

  1. AAnhand des Textes einer E-Mail entscheiden, ob sie Spam ist
  2. BErkennen, welche Ziffer von 0 bis 9 das Bild einer handgeschriebenen Ziffer zeigt
  3. CDen Preis eines Hauses aus Wohnfläche, Entfernung zum Bahnhof usw. vorhersagen
Antwort und Erläuterung anzeigen

Antwort: C. Den Preis eines Hauses aus Wohnfläche, Entfernung zum Bahnhof usw. vorhersagen

Überwachtes Lernen trainiert ein Modell, das aus einer Eingabe eine Ausgabe vorhersagt, anhand von Paaren aus Eingaben und richtigen Antworten (Labels). Ist die vorhergesagte Ausgabe ein kontinuierlicher Zahlenwert, spricht man von Regression; ist sie eine von mehreren festgelegten Klassen, von Klassifikation. Ein Hauspreis ist ein kontinuierlicher Zahlenwert, also handelt es sich um eine Regression. Die Spamerkennung ist eine Klassifikation mit 2 Klassen, die Erkennung handgeschriebener Ziffern eine Klassifikation mit 10 Klassen.

Welches der folgenden Beispiele ist unüberwachtes Lernen?

  1. AKunden allein anhand ihrer Kaufhistorie in einige Gruppen mit ähnlichem Kaufverhalten einteilen
  2. BAusfälle einer Anlage aus Sensorwerten vorhersagen, wobei frühere Aufzeichnungen darüber, ob Ausfälle auftraten, als richtige Antworten dienen
  3. CLernen, wie man in einem Spiel Züge wählt, damit die durch Ausprobieren erzielte Belohnung groß wird
Antwort und Erläuterung anzeigen

Antwort: A. Kunden allein anhand ihrer Kaufhistorie in einige Gruppen mit ähnlichem Kaufverhalten einteilen

Unüberwachtes Lernen findet Gruppierungen oder Strukturen in Daten, die keine Labels mit richtigen Antworten haben. Typische Beispiele sind das Clustering, das ähnliche Daten in Gruppen einteilt, und die Dimensionsreduktion, die Daten mit weniger Variablen darstellt. Mit der richtigen Antwort, ob ein Ausfall auftrat, vorherzusagen ist überwachtes Lernen; Handlungen anhand von Belohnungen zu lernen ist bestärkendes Lernen.

Welche Beschreibung trifft auf bestärkendes Lernen zu?

  1. AMan gibt sehr viele Paare aus Eingabe und richtiger Antwort vor und lernt eine Funktion, die aus der Eingabe die richtige Antwort vorhersagt, sodass der Unterschied zwischen Vorhersage und richtiger Antwort klein wird
  2. BEin Agent handelt in einer Umgebung und lernt eine Art, Handlungen zu wählen (eine Strategie, Policy), mit der die Summe der erhaltenen Belohnungen groß wird
  3. CDaten ohne richtige Antworten werden in einige Gruppen eingeteilt, sodass Elemente mit ähnlichen Merkmalen in dieselbe Gruppe kommen
Antwort und Erläuterung anzeigen

Antwort: B. Ein Agent handelt in einer Umgebung und lernt eine Art, Handlungen zu wählen (eine Strategie, Policy), mit der die Summe der erhaltenen Belohnungen groß wird

Bestärkendes Lernen funktioniert so: Der Lernende (der Agent) beobachtet den Zustand der Umgebung, wählt eine Handlung und erhält als Ergebnis eine Belohnung. Für einzelne Handlungen wird keine richtige Antwort vorgegeben; durch Versuch und Irrtum lernt der Agent eine Strategie, mit der die Summe der künftig erhaltenen Belohnungen groß wird. Eingesetzt wird es für Spiele wie Go, für die Robotersteuerung und für die Abstimmung der Ausgaben von Sprachmodellen auf menschliche Bewertungen.

  1. Welche Beschreibung des Ablaufs beim Clustering mit dem k-Means-Algorithmus trifft zu?
  2. Welche Beschreibung der Hauptkomponentenanalyse (PCA) trifft zu?

Übungsfragen zu Grundlagen des maschinellen Lernens

Wichtige Begriffe erklärt

Überwachtes Lernen (Supervised Learning)
Ein Ansatz des maschinellen Lernens, der anhand von Daten aus Paaren von Eingaben und richtigen Antworten (Labels) ein Modell trainiert, das aus einer Eingabe die richtige Antwort vorhersagt. Ist die vorhergesagte Ausgabe ein kontinuierlicher Zahlenwert, spricht man von Regression, ist sie eine von mehreren festgelegten Klassen, von Klassifikation. Verwendet werden Modelle wie lineare Regression, logistische Regression, Entscheidungsbäume, Support Vector Machines und neuronale Netze. Das Erstellen der Labels ist oft aufwendig.
Unüberwachtes Lernen (Unsupervised Learning)
Ein Ansatz des maschinellen Lernens, der Gruppierungen oder Strukturen in Daten ohne Labels mit richtigen Antworten findet. Eingesetzt wird es für das Clustering, das ähnliche Daten in Gruppen einteilt (etwa mit dem k-Means-Algorithmus), für die Dimensionsreduktion, die Daten mit weniger Variablen darstellt (etwa mit der Hauptkomponentenanalyse), und für die Anomalieerkennung, die Daten findet, die sich stark von den übrigen unterscheiden. Es müssen keine Labels erstellt werden, dafür ist die Qualität des Ergebnisses schwerer zu bewerten.
Bestärkendes Lernen (Reinforcement Learning)
Ein Ansatz des maschinellen Lernens, bei dem ein Agent (der Lernende) den Zustand einer Umgebung beobachtet, Handlungen wählt und durch Versuch und Irrtum eine Art, Handlungen zu wählen (eine Strategie, Policy), lernt, mit der die Summe der erhaltenen Belohnungen einschließlich künftiger Belohnungen groß wird. Für einzelne Handlungen wird keine richtige Antwort vorgegeben, und Belohnungen kommen oft erst verzögert. Eingesetzt wird es für Spiele, die Robotersteuerung und die Abstimmung der Ausgaben von Sprachmodellen auf menschliche Bewertungen.
k-Means-Algorithmus
Ein typisches Clustering-Verfahren, das Daten in eine vorab festgelegte Zahl k von Clustern einteilt. Es legt vorläufig k Zentren fest und wiederholt dann, jeden Datenpunkt dem Cluster des nächstgelegenen Zentrums zuzuordnen und jedes Zentrum auf den Mittelwert der Daten seines Clusters zu verschieben, bis sich die Zuordnung nicht mehr ändert. Es ist einfach zu berechnen und auch für große Datenmengen geeignet, doch das Ergebnis hängt von den Anfangszentren ab, k muss selbst gewählt werden, und nicht annähernd kugelförmige Cluster lassen sich schwer trennen.
Hauptkomponentenanalyse (PCA)
Ein Verfahren der Dimensionsreduktion, das Daten mit vielen Variablen durch weniger Variablen darstellt und dabei möglichst wenig Information verliert. Es nimmt die Richtung der größten Varianz der Daten als erste Hauptkomponente, die Richtung der größten Varianz senkrecht dazu als zweite usw. und stellt die Daten nur mit den ersten Komponenten dar. Mathematisch entspricht das der Bestimmung der Eigenvektoren der Kovarianzmatrix der Daten. Eingesetzt wird es zur Visualisierung von Daten, zur Rauschunterdrückung und zur Vorverarbeitung vor dem Training.
Überanpassung (Overfitting)
Ein Zustand, in dem sich ein Modell feine Details und zufälliges Rauschen der Trainingsdaten eingeprägt hat, sodass sein Fehler auf den Trainingsdaten klein, sein Fehler bei neuen Daten (der Generalisierungsfehler) aber groß ist. Sie tritt leicht auf, wenn ein komplexes Modell mit vielen Parametern mit wenigen Daten trainiert wird. Verringert wird sie durch mehr Daten, ein einfacheres Modell, Regularisierung, Dropout, Early Stopping und ähnliche Verfahren.
Precision und Recall
Bewertungskennzahlen für Modelle zur Klassifikation mit zwei Klassen. Die Precision ist der Anteil der als positiv vorhergesagten Fälle, die tatsächlich positiv sind, TP ÷ (TP + FP), und der Recall ist der Anteil der tatsächlich positiven Fälle, die als positiv vorhergesagt wurden, TP ÷ (TP + FN). Allgemein steigt beim Verschieben des Entscheidungsschwellenwerts die eine, während die andere sinkt. Ihr harmonisches Mittel, 2PR ÷ (P + R), heißt F1-Score (F-Maß).

Verwandte Vergleiche