Was ist Inferenz-Laufzeitumgebung (Inference Runtime)?

Software, die ein trainiertes Modell lädt und die Inferenz durch Graphoptimierung, Quantisierung und hardwarespezifische Kernel-Auswahl schnell ausführt.

Japanische Bezeichnung: 推論ランタイム

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing KI-Compiler

Zurück zum Glossar