Was ist Prefill (Vorbefüllung)?

Die erste Phase der LLM-Inferenz, in der alle Token des Eingabe-Prompts gemeinsam verarbeitet werden; sie ist meist rechenbegrenzt. Die anschließende Token-für-Token-Erzeugung heißt Decode.

Japanische Bezeichnung: プリフィル

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar