Nederlands
Menu

Gesuperviseerd versus ongesuperviseerd leren versus reinforcement learning: data, hoe antwoorden worden gegeven, doelen, methoden en voorbeelden

Machine learning valt grofweg in drie soorten uiteen, naar wat als leidraad dient bij het leren uit data. Gesuperviseerd leren krijgt paren van invoer en juist antwoord (labels) en leert een model dat het antwoord uit de invoer voorspelt. Ongesuperviseerd leren vindt groepen van vergelijkbare items, of structuren die de data met minder variabelen weergeven, uit alleen de data, zonder juiste antwoorden. Bij reinforcement learning kiest een agent (de lerende) acties in een omgeving en leert hij met vallen en opstaan een manier om acties te kiezen (een policy) die de totale beloning die hij daardoor ontvangt maximaliseert. De vuistregel: gesuperviseerd leren als juiste antwoorden beschikbaar zijn en je voorspellingen wilt, ongesuperviseerd leren als er geen antwoorden zijn en je de structuur van de data wilt begrijpen, en reinforcement learning als de lerende een reeks acties op de uitkomst moet beoordelen.

KenmerkGesuperviseerd lerenOngesuperviseerd lerenReinforcement learning
TrainingsdataParen van invoer en juist antwoord (labels)Alleen invoerdata, zonder juiste antwoordenRegistraties van toestanden, acties en beloningen uit de interactie met een omgeving, verzameld tijdens het handelen in plaats van vooraf voorbereid
Hoe juiste antwoorden worden gegevenVoor elke invoer wordt de juiste uitvoer gegevenNiet gegevenGeen juist antwoord per actie; alleen een beoordeling, de beloning, die vaak met vertraging komt
LeerdoelDe uitvoer voor nieuwe invoer juist voorspellenGroepen en structuur in de data vindenEen policy vinden die de totale beloning over de tijd maximaliseert
Belangrijkste takenRegressie (getallen voorspellen) en classificatie (klassen voorspellen)Clustering, dimensiereductie, anomaliedetectieReeksen van acties kiezen (machines besturen, zetten in spellen, volgordes bepalen enz.)
Typische methodenLineaire regressie, logistische regressie, beslisbomen, support vector machines, neurale netwerkenk-means-clustering, hiërarchische clustering, hoofdcomponentenanalyse (PCA)Q-learning, policy-gradientmethoden
Hoe te evaluerenOp achtergehouden testdata, vergeleken met de juiste antwoorden via nauwkeurigheid, precisie en recall, gemiddelde kwadratische fout enz.Moeilijk te evalueren zonder juiste antwoorden; beoordeeld met maten voor hoe goed groepen samenhangen, of door de vraag of mensen de resultaten zinvol vindenAan de totale verkregen beloning (cumulatieve beloning)
Belangrijkste moeilijkhedenLabels voorbereiden kost tijd en geld; overfitting moet in de gaten worden gehoudenMoeilijk te beoordelen of de resultaten goed zijn, en mensen moeten interpreteren wat de gevonden groepen betekenenVergt vaak veel pogingen; dingen uitproberen op echte apparatuur is riskant en duur, dus vaak wordt simulatie gebruikt; ook het ontwerpen van de beloning is moeilijk
ToepassingsvoorbeeldenSpamfilters, beeldherkenning, vraag- en prijsvoorspelling, storingen aan apparatuur voorspellenKlantsegmentatie, datavisualisatie en voorbewerking voor het leren, frauduleuze transacties en afwijkingen aan apparatuur opsporenSpellen zoals go, robotbesturing, de uitvoer van taalmodellen afstemmen op menselijke beoordelingen

De getalswaarden zijn typische ordegroottes en variëren per procesgeneratie en product.

Wanneer welke variant?

Gesuperviseerd leren
Wanneer historische data de juiste antwoorden (uitkomsten) bevat en je hetzelfde wilt voorspellen voor nieuwe data. Het meeste machine learning dat in de praktijk wordt gebruikt, valt onder deze soort.
Ongesuperviseerd leren
Wanneer je groepen of trends wilt vinden in data zonder labels, of waarvoor labels moeilijk te maken zijn. Dimensiereductie wordt ook gebruikt als voorbewerking voor gesuperviseerd leren.
Reinforcement learning
Wanneer het juiste antwoord stap voor stap tonen moeilijk is, maar de uitkomst van acties wel kan worden beoordeeld. Het wordt gebruikt voor problemen waarbij een reeks acties moet worden bepaald met oog voor resultaten vele stappen verder.

Veelgestelde vragen

Is anomaliedetectie gesuperviseerd of ongesuperviseerd leren?

Het kan allebei zijn, afhankelijk van de data. De patronen van normale data leren en alles wat daar sterk van afwijkt als anomalie behandelen, gebruikt geen labels voor anomalieën en is dus een ongesuperviseerde methode. Als afwijkende voorbeelden ook gelabeld zijn en er genoeg van zijn, kan de taak als gesuperviseerde classificatie worden behandeld. In de praktijk zijn afwijkende voorbeelden vaak zeer zeldzaam, dus ongesuperviseerde methoden worden veel gebruikt.

Wat zijn semi-gesuperviseerd en zelfgesuperviseerd leren?

Semi-gesuperviseerd leren combineert een kleine hoeveelheid gelabelde data met een grote hoeveelheid ongelabelde data. Zelfgesuperviseerd leren maakt de juiste antwoorden uit de data zelf, bijvoorbeeld door een deel van een tekst te verbergen en het model dat te laten voorspellen; het wordt onder meer gebruikt om grote taalmodellen voor te trainen. Beide liggen tussen gesuperviseerd en ongesuperviseerd leren in en willen de moeite van het maken van labels verminderen.

Wat is het belangrijkste verschil tussen reinforcement learning en gesuperviseerd leren?

Bij gesuperviseerd leren wordt voor elke invoer de juiste uitvoer gegeven, en leert het model het verschil daarmee te verkleinen. Bij reinforcement learning wordt per actie geen juist antwoord gegeven; de enige leidraad is een beoordeling die beloning heet. Bovendien komt de beloning vaak pas na een hele reeks acties, dus de lerende moet zelf uitzoeken welke acties goed waren. Een ander verschil is dat de lerende zijn eigen trainingsdata verzamelt via zijn acties.

Test uw begrip

Welke van de volgende taken bij gesuperviseerd leren is een regressietaak?

  1. AOp basis van de tekst van een e-mail bepalen of de e-mail spam is
  2. BHerkennen welk cijfer van 0 tot 9 een afbeelding van een handgeschreven cijfer toont
  3. CDe prijs van een huis voorspellen uit het woonoppervlak, de afstand tot het station enzovoort
Antwoord en toelichting tonen

Antwoord: C. De prijs van een huis voorspellen uit het woonoppervlak, de afstand tot het station enzovoort

Bij gesuperviseerd leren wordt een model getraind dat uit een invoer een uitvoer voorspelt, met behulp van paren van invoer en juist antwoord (labels). Is de voorspelde uitvoer een continu getal, dan heet de taak regressie; is het een van een vast aantal klassen, dan heet ze classificatie. Een huizenprijs is een continu getal, dus dit is regressie. Spamdetectie is classificatie met twee klassen, en het herkennen van handgeschreven cijfers is classificatie met tien klassen.

Welke van de volgende is een voorbeeld van ongesuperviseerd leren?

  1. AKlanten alleen op basis van hun aankoopgeschiedenis in enkele groepen met een vergelijkbaar koopgedrag verdelen
  2. BStoringen van apparatuur voorspellen uit sensorwaarden, met eerdere registraties van het al dan niet optreden van storingen als juiste antwoorden
  3. CLeren hoe zetten in een spel moeten worden gekozen, zodat de beloning die met vallen en opstaan wordt verkregen groot wordt
Antwoord en toelichting tonen

Antwoord: A. Klanten alleen op basis van hun aankoopgeschiedenis in enkele groepen met een vergelijkbaar koopgedrag verdelen

Ongesuperviseerd leren vindt groeperingen of structuur in gegevens zonder labels met juiste antwoorden. Typische voorbeelden zijn clustering, die vergelijkbare gegevens in groepen verdeelt, en dimensiereductie, die gegevens met minder variabelen weergeeft. Voorspellen met als juist antwoord of er een storing optrad, is gesuperviseerd leren; acties leren op basis van beloningen is reinforcement learning.

Welke beschrijving van reinforcement learning is juist?

  1. AEen groot aantal paren van invoer en juist antwoord aanbieden en een functie leren die het antwoord uit de invoer voorspelt, zodat het verschil tussen voorspelling en antwoord klein wordt
  2. BEen agent handelt in een omgeving en leert een manier om acties te kiezen (een beleid of policy) waarmee de totale beloning die hij verkrijgt groot wordt
  3. CGegevens zonder juiste antwoorden in enkele groepen verdelen, zodat items met vergelijkbare kenmerken in dezelfde groep terechtkomen
Antwoord en toelichting tonen

Antwoord: B. Een agent handelt in een omgeving en leert een manier om acties te kiezen (een beleid of policy) waarmee de totale beloning die hij verkrijgt groot wordt

Bij reinforcement learning observeert de lerende (de agent) de toestand van de omgeving, kiest een actie en ontvangt daarvoor een beloning. Voor afzonderlijke acties wordt geen juist antwoord gegeven; met vallen en opstaan leert de agent een beleid waarmee de som van de beloningen die hij in de toekomst ontvangt groot wordt. Het wordt gebruikt voor spellen zoals go, voor de besturing van robots en om de uitvoer van taalmodellen af te stemmen op menselijke beoordelingen.

  1. Welke beschrijving van de werkwijze van clustering met k-means (k-means-clustering) is juist?
  2. Welke beschrijving van hoofdcomponentenanalyse (PCA) is juist?

Oefenvragen over Basis van machine learning

Belangrijke termen uitgelegd

Gesuperviseerd leren (supervised learning)
Een benadering van machine learning die een model traint om uit een invoer het juiste antwoord te voorspellen, met gegevens die bestaan uit paren van invoer en juist antwoord (labels). Is de voorspelde uitvoer een continu getal, dan heet het regressie; is het een van een vast aantal klassen, dan heet het classificatie. Modellen zoals lineaire regressie, logistische regressie, beslisbomen, support vector machines en neurale netwerken worden gebruikt. Het voorbereiden van de labels kost vaak veel moeite.
Ongesuperviseerd leren (unsupervised learning)
Een benadering van machine learning die groeperingen of structuur vindt in gegevens zonder labels met juiste antwoorden. Ze wordt gebruikt voor clustering, die vergelijkbare gegevens in groepen verdeelt (k-means en andere), dimensiereductie, die gegevens met minder variabelen weergeeft (hoofdcomponentenanalyse en andere), en anomaliedetectie, die gegevens vindt die sterk van de rest afwijken. Er hoeven geen labels te worden voorbereid, maar de kwaliteit van het resultaat is moeilijker te beoordelen.
Reinforcement learning (versterkend leren)
Een benadering van machine learning waarbij een agent (de lerende) de toestand van een omgeving observeert, acties kiest en met vallen en opstaan een manier om acties te kiezen (een beleid of policy) leert die de totale beloning die hij ontvangt, inclusief toekomstige beloningen, maximaliseert. Voor afzonderlijke acties wordt geen juist antwoord gegeven, en beloningen komen vaak met vertraging. Het wordt gebruikt voor spellen, de besturing van robots en om de uitvoer van taalmodellen af te stemmen op menselijke beoordelingen.
k-means-clustering
Een typische clusteringmethode die gegevens verdeelt in een vooraf vastgelegd aantal van k clusters. Ze plaatst k voorlopige centra en herhaalt dan het toewijzen van elk gegevenspunt aan het cluster van het dichtstbijzijnde centrum en het verplaatsen van elk centrum naar het gemiddelde van de gegevens van zijn cluster, tot de toewijzingen niet meer veranderen. De methode is eenvoudig te berekenen en werkt op grote gegevens, maar het resultaat hangt af van de begincentra, k moet door de gebruiker worden gekozen, en clusters die niet ongeveer bolvormig zijn, zijn moeilijk te scheiden.
Hoofdcomponentenanalyse (PCA)
Een methode voor dimensiereductie die gegevens met veel variabelen met minder variabelen weergeeft en daarbij zo weinig mogelijk informatie verliest. Ze neemt de richting met de grootste variantie in de gegevens als eerste hoofdcomponent, de richting met de grootste variantie loodrecht daarop als tweede, enzovoort, en geeft de gegevens weer met alleen de eerste componenten. Wiskundig komt dit neer op het bepalen van de eigenvectoren van de covariantiematrix van de gegevens. De methode wordt gebruikt om gegevens te visualiseren, ruis te verwijderen en als voorbewerking vóór het trainen.
Overfitting (overaanpassing)
Een toestand waarin een model fijne details en toevallige ruis in de trainingsdata uit het hoofd leert, zodat de fout op de trainingsdata klein is, maar de fout op nieuwe gegevens (de generalisatiefout) groot. Het treedt vooral op als een complex model met veel parameters op weinig gegevens wordt getraind. Het wordt beperkt door meer gegevens, een eenvoudiger model, regularisatie, dropout, early stopping en vergelijkbare methoden.
Precisie en recall (precision and recall)
Evaluatiematen voor modellen voor classificatie met twee klassen. De precisie is het aandeel van de als positief voorspelde items dat werkelijk positief is, TP ÷ (TP + FP), en de recall is het aandeel van de werkelijk positieve items dat als positief is voorspeld, TP ÷ (TP + FN). Over het algemeen verhoogt het veranderen van de beslissingsdrempel de ene en verlaagt het de andere. Hun harmonisch gemiddelde, 2PR ÷ (P + R), heet de F1-score.

Verwante vergelijkingen