Methode om rekenwerk en geheugen te verminderen door gewichten met weinig invloed in een neuraal netwerk op 0 te zetten. Gestructureerde varianten, die nullen in een vast patroon plaatsen, zijn in hardware gemakkelijker te versnellen.
Japanse benaming: プルーニング
“Pruning” komt voor in 2 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: A. Een methode om onbelangrijke gewichten op 0 te zetten en zo te verminderen; de ongestructureerde variant, waarbij willekeurig verspreid op 0 wordt gezet, is met hardware moeilijk te versnellen
Bij pruning worden gewichten met weinig invloed, bijvoorbeeld met een kleine waarde, op 0 gezet om rekenwerk en geheugen te verminderen. Als de nullen echter verspreid liggen, kost het moeite om te achterhalen waar ze zijn, en omdat matrixrekeneenheden en geheugen in aaneengesloten eenheden werken, wordt het in de praktijk nauwelijks sneller. Bij gestructureerde pruning, per kanaal of laag of in een vast patroon op 0 zetten, is versnelling met hardware gemakkelijker.
Bij pruning worden gewichten met weinig invloed, bijvoorbeeld met een kleine waarde, op 0 gezet om rekenwerk en geheugen te verminderen.
Welke uitspraak over pruning (snoeien) van neurale netwerke…Het wordt gecombineerd met kwantisatie en pruning als manier om rekenwerk en geheugen bij inferentie te verminderen.
Welke uitspraak over knowledge distillation (kennisdestilla…Kennisdistillatie (knowledge distillation) Inferentie (inference) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity