Welche Aussage zur Wissensdestillation (Knowledge Distillation) ist richtig?

Antwort: C. Ein kleines Schülermodell wird so trainiert, dass es die Ausgaben eines großen Lehrermodells nachahmt, um mit einem kleinen Modell eine ähnliche Leistung zu erreichen

Bei der Wissensdestillation wird ein kleines Modell (Schüler) auf Ziele wie die Wahrscheinlichkeitsverteilung der Antworten eines bereits trainierten großen Modells (Lehrer) trainiert. Es lernt nicht nur die richtigen Labels, sondern auch die Information des Lehrers, welche Antwort wie wahrscheinlich ist, sodass auch ein kleines Modell eine dem Ausgangsmodell nahekommende Leistung erreicht. Das Verfahren wird als Mittel zur Verringerung von Rechenaufwand und Speicher bei der Inferenz zusammen mit Quantisierung und Pruning eingesetzt.