Français
Menu

Bases de l'apprentissage automatique

Quelle description de la façon dont un grand modèle de langage (LLM) traite un texte est correcte ?

  1. AIl convertit le texte en codes de caractères, un caractère à la fois, considère comme proches par le sens les caractères dont les codes numériques sont proches, et prédit le caractère suivant
  2. BIl découpe le texte en jetons (tokens : mots, fragments de mots, etc.), convertit chaque jeton en vecteur de plongement (embedding) pour le traiter, et prédit la probabilité du jeton suivant
  3. CIl remplace tous les mots du texte par des entrées d'un dictionnaire ; il ne peut donc pas traiter un texte contenant des mots absents du dictionnaire ou des mots nouveaux
Afficher la réponse et l'explication

Réponse : B. Il découpe le texte en jetons (tokens : mots, fragments de mots, etc.), convertit chaque jeton en vecteur de plongement (embedding) pour le traiter, et prédit la probabilité du jeton suivant

Un LLM traite le texte en le découpant en unités appelées jetons. Un jeton ne correspond pas forcément à un mot : les mots fréquents forment un seul jeton et les mots rares sont découpés en plusieurs fragments, ce qui permet de traiter aussi des mots absents des dictionnaires. Chaque jeton est converti en un vecteur de plongement obtenu par apprentissage, et les jetons de sens ou d'usage proches ont des vecteurs proches. Le modèle prédit la probabilité du jeton suivant à partir des jetons précédents, et génère un texte en répétant l'ajout du jeton choisi.

S'entraîner sur ce thème Retour au thème

Autres questions sur Bases de l'apprentissage automatique

  1. Quel point faut-il surveiller lorsque l'on construit un modèle qui prédit, à partir des dossiers de candidature, si un candidat sera recruté, en prenant comme bonnes réponses les décisions de recrutement passées ?
  2. Quelle description de l'IA explicable (XAI) est correcte ?
  3. Parmi les tâches d'apprentissage supervisé suivantes, laquelle est une régression ?
  4. Lequel des exemples suivants relève de l'apprentissage non supervisé ?
  5. Quelle description de l'apprentissage par renforcement est correcte ?