バッチサイズとは
ばっちさいず
まとめて処理する入力の数。大きくすると重みを再利用できて効率が上がるが、応答の遅れとメモリが増える。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「バッチサイズ」
バッチサイズがBなら、重みの行列とB個のベクトルの積は、重みの行列と幅Bの行列の積になります。
推論でバッチサイズ(まとめて処理する入力の数)を大きくすると、処理全体の効率が上がりやすい理由はどれか。
「バッチサイズ」が出てくる問題(2問)
関連する用語
推論 演算強度 GPU スループット KVキャッシュ アテンション AIコンパイラ MFU 演算の融合 オールリデュース