什麼是批次大小（Batch size）
一併處理的輸入數量。增大後可重複使用權重而提高效率，但回應的延遲與記憶體也會增加。
日文名稱: バッチサイズ
這個名詞所屬的領域: AI硬體與軟體堆疊
相關名詞
反向傳播（Backpropagation） 全歸約（All-reduce） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization） 剪枝（Pruning） 張量平行（Tensor parallelism） 推測式解碼（Speculative decoding） 推論執行環境（Inference runtime）