Welche Beschreibung der Art, wie ein großes Sprachmodell (LLM) Text verarbeitet, trifft zu?

Antwort: B. Es zerlegt Text in Tokens (Einheiten wie Wörter oder Wortteile), wandelt jedes Token zur Verarbeitung in einen Embedding-Vektor um und sagt die Wahrscheinlichkeit des nächsten Tokens vorher

Ein LLM verarbeitet Text, indem es ihn in Einheiten zerlegt, die Tokens heißen. Ein Token ist nicht unbedingt ein ganzes Wort: Häufige Wörter werden zu einem einzigen Token, seltene Wörter werden in mehrere Teile zerlegt, sodass auch Wörter, die in keinem Wörterbuch stehen, verarbeitet werden können. Jedes Token wird in einen beim Training gelernten Embedding-Vektor umgewandelt, und Tokens mit ähnlicher Bedeutung oder Verwendung erhalten ähnliche Vektoren. Das Modell sagt aus den bisherigen Tokens die Wahrscheinlichkeit des nächsten Tokens vorher und erzeugt Text, indem es wiederholt das gewählte Token anhängt.