Was ist Batchgröße?
Die Anzahl gemeinsam verarbeiteter Eingaben. Größere Batches nutzen Gewichte effizienter wieder, erhöhen aber Latenz und Speicherbedarf.
Japanische Bezeichnung: バッチサイズ
Fachgebiet: KI-Hardware und Software-Stack
Verwandte Begriffe
All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime) KI-Compiler