Méthode qui entraîne un petit modèle élève à imiter les sorties d'un grand modèle enseignant, afin d'obtenir des performances proches avec un petit modèle.
Nom japonais: 知識蒸留
« Distillation des connaissances » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : C. Entraîner un petit modèle élève à imiter les sorties d'un grand modèle enseignant pour obtenir des performances proches avec un petit modèle
La distillation des connaissances entraîne un petit modèle (élève) en prenant pour cible, par exemple, la distribution de probabilités des réponses d'un grand modèle déjà entraîné (enseignant). L'élève apprend non seulement les étiquettes correctes, mais aussi l'information sur la vraisemblance relative des réponses selon l'enseignant ; un petit modèle atteint ainsi des performances proches du modèle d'origine. Moyen de réduire le calcul et la mémoire d'inférence, elle se combine avec la quantification et l'élagage.
La distillation des connaissances entraîne un petit modèle (élève) en prenant pour cible, par exemple, la distribution de probabilités des réponses d'un grand modèle déjà entraîné (enseignant).
Quelle définition de la distillation des connaissances (kno…Inférence Élagage (pruning) All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Entraînement tenant compte de la quantification FlashAttention