Pile matérielle et logicielle de l'IA
Quelle définition de la distillation des connaissances (knowledge distillation) est correcte ?
- AChauffer les poids du modèle pour les évaporer et le réduire
- BLaver les données d'entraînement à l'eau distillée
- CEntraîner un petit modèle élève à imiter les sorties d'un grand modèle enseignant pour obtenir des performances proches avec un petit modèle
Afficher la réponse et l'explication
Réponse : C. Entraîner un petit modèle élève à imiter les sorties d'un grand modèle enseignant pour obtenir des performances proches avec un petit modèle
La distillation des connaissances entraîne un petit modèle (élève) en prenant pour cible, par exemple, la distribution de probabilités des réponses d'un grand modèle déjà entraîné (enseignant). L'élève apprend non seulement les étiquettes correctes, mais aussi l'information sur la vraisemblance relative des réponses selon l'enseignant ; un petit modèle atteint ainsi des performances proches du modèle d'origine. Moyen de réduire le calcul et la mémoire d'inférence, elle se combine avec la quantification et l'élagage.
Continuer : 9 autres questions sur Pile matérielle et logicielle de l'IA