Parcimonie où les zéros des poids suivent un motif fixe. Par exemple, la parcimonie 2:4, où 2 poids sur 4 sont nuls, permet un calcul environ 2 fois plus rapide sur les unités de calcul matriciel.
Nom japonais: 構造化スパース
« Parcimonie structurée (structured sparsity) » apparaît dans 1 questions d'entraînement réparties sur 1 thèmes, dont Pile matérielle et logicielle de l'IA.
Réponse : A. Une parcimonie à motif fixe où les poids sont groupés par quatre et deux de chaque groupe sont nuls, permettant aux unités matricielles de sauter les zéros et de calculer jusqu'à environ deux fois plus vite
En parcimonie 2:4, l'entraînement ou l'ajustement garantit que deux des quatre poids consécutifs sont toujours nuls. Seules les deux valeurs non nulles et une petite information indiquant leur position doivent être stockées, ce qui réduit la mémoire, et l'unité matricielle saute les multiplications par zéro pour calculer environ deux fois plus vite. Le motif fixe a permis une accélération matérielle difficile à obtenir avec une parcimonie dispersée.
GPU All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA Décodage spéculatif Distillation des connaissances Élagage (pruning) Entraînement tenant compte de la quantification