Méthode qui met à 0 les poids peu influents d'un réseau de neurones pour réduire calculs et mémoire. Les variantes structurées, qui annulent selon un motif défini, sont plus faciles à accélérer en matériel.
Nom japonais: プルーニング
« Élagage (pruning) » apparaît dans 2 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : A. Il réduit les poids en mettant à 0 ceux qui sont peu importants ; l'élagage non structuré, qui les annule de façon dispersée, est difficile à accélérer matériellement
L'élagage met à 0 les poids peu influents, par exemple de faible valeur, pour réduire le calcul et la mémoire. Mais si les zéros sont dispersés, repérer leur position coûte du travail, et comme les unités de calcul matriciel et la mémoire fonctionnent par blocs, le gain réel est faible. L'élagage structuré, qui annule par canal, par couche ou selon un motif fixe, est plus facile à accélérer matériellement.
L'élagage met à 0 les poids peu influents, par exemple de faible valeur, pour réduire le calcul et la mémoire.
Quelle affirmation sur l'élagage (pruning) des réseaux de n…Moyen de réduire le calcul et la mémoire d'inférence, elle se combine avec la quantification et l'élagage.
Quelle définition de la distillation des connaissances (kno…Distillation des connaissances Inférence All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Entraînement tenant compte de la quantification FlashAttention