Basis van machine learning
Welke beschrijving van de manier waarop een groot taalmodel (LLM) tekst verwerkt, is juist?
- AHet zet tekst teken voor teken om in tekencodes, behandelt tekens met dicht bij elkaar liggende codewaarden als verwant in betekenis en voorspelt het volgende teken
- BHet splitst tekst in tokens (eenheden zoals woorden of delen van woorden), zet elk token voor de verwerking om in een embeddingvector en voorspelt de kans op het volgende token
- CHet vervangt vóór de verwerking elk woord in de tekst door een trefwoord uit een woordenboek, zodat het geen tekst kan verwerken met woorden of nieuwe uitdrukkingen die niet in het woordenboek staan
Antwoord en toelichting tonen
Antwoord: B. Het splitst tekst in tokens (eenheden zoals woorden of delen van woorden), zet elk token voor de verwerking om in een embeddingvector en voorspelt de kans op het volgende token
Een LLM verwerkt tekst door die op te splitsen in eenheden die tokens heten. Een token is niet per se een heel woord: veelvoorkomende woorden worden één token en zeldzame woorden worden in meerdere stukken gesplitst, zodat ook woorden die in geen enkel woordenboek staan kunnen worden verwerkt. Elk token wordt omgezet in een embeddingvector die bij het trainen is geleerd, en tokens met een vergelijkbare betekenis of vergelijkbaar gebruik krijgen vergelijkbare vectoren. Het model voorspelt uit de tokens tot dan toe de kans op het volgende token en genereert tekst door telkens het gekozen token toe te voegen.