Was ist Spekulatives Dekodieren (Speculative Decoding)?

Beschleunigung der Inferenz, indem ein kleines Modell mehrere Token vorab entwirft und ein großes Modell sie gemeinsam prüft, wobei die korrekten auf einmal übernommen werden.

Japanische Bezeichnung: 投機的デコーディング

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar