Was ist Wissensdestillation (Knowledge Distillation)?

Training eines kleinen Schülermodells, das die Ausgaben eines großen Lehrermodells nachahmt, sodass das kleine Modell ähnliche Leistung erreicht.

Japanische Bezeichnung: 知識蒸留

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar