Methode waarbij een klein studentmodel wordt getraind om de uitvoer van een groot lerarenmodel na te bootsen, zodat een klein model vergelijkbare prestaties haalt.
Japanse benaming: 知識蒸留
“Kennisdistillatie (knowledge distillation)” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: C. Een klein leerlingmodel wordt getraind om de uitvoer van een groot docentmodel na te bootsen, zodat met een klein model vergelijkbare prestaties worden bereikt
Bij knowledge distillation wordt een klein model (leerling) getraind met als doel bijvoorbeeld de kansverdeling van de antwoorden van een reeds getraind groot model (docent). Het leert niet alleen de juiste labels maar ook informatie over hoe waarschijnlijk de docent elk antwoord acht, zodat ook een klein model prestaties dicht bij het oorspronkelijke model haalt. Het wordt gecombineerd met kwantisatie en pruning als manier om rekenwerk en geheugen bij inferentie te verminderen.
Bij knowledge distillation wordt een klein model (leerling) getraind met als doel bijvoorbeeld de kansverdeling van de antwoorden van een reeds getraind groot model (docent).
Welke uitspraak over knowledge distillation (kennisdestilla…Pruning Inferentie (inference) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity