Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over knowledge distillation (kennisdestillatie) is juist?

  1. ADe gewichten van het model worden verhit tot ze verdampen en zo kleiner worden
  2. BDe trainingsdata worden met gedestilleerd water gewassen
  3. CEen klein leerlingmodel wordt getraind om de uitvoer van een groot docentmodel na te bootsen, zodat met een klein model vergelijkbare prestaties worden bereikt
Antwoord en toelichting tonen

Antwoord: C. Een klein leerlingmodel wordt getraind om de uitvoer van een groot docentmodel na te bootsen, zodat met een klein model vergelijkbare prestaties worden bereikt

Bij knowledge distillation wordt een klein model (leerling) getraind met als doel bijvoorbeeld de kansverdeling van de antwoorden van een reeds getraind groot model (docent). Het leert niet alleen de juiste labels maar ook informatie over hoe waarschijnlijk de docent elk antwoord acht, zodat ook een klein model prestaties dicht bij het oorspronkelijke model haalt. Het wordt gecombineerd met kwantisatie en pruning als manier om rekenwerk en geheugen bij inferentie te verminderen.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over dataparallellisme bij training met meerdere GPU's is juist?
  2. Welke uitspraak over tensorparallellisme, waarbij het matrixproduct van een grote laag die niet in het geheugen van één GPU past over meerdere GPU's wordt verdeeld, is juist?
  3. Waarom wordt bij pipelineparallellisme, waarbij de lagen van het model achtereenvolgens over meerdere GPU's worden verdeeld, de batch in kleine micro-batches verdeeld en doorgestuurd?
  4. Welke uitspraak over de werking van de all-reduce-communicatie bij gedistribueerde training is juist?
  5. Welke uitspraak over gradient checkpointing (herberekening van activaties) bij training is juist?