Was ist KI-Inferenz?

Nur der Vorwärtsdurchlauf mit durch das Training festgelegten Gewichten, um aus Eingaben Antworten zu erzeugen. Er benötigt weniger Rechenaufwand und Speicher als das Training.

Japanische Bezeichnung: 推論

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime)

Zurück zum Glossar