AIハードウェアとソフトウェアスタック
AIの計算で使われる「演算の融合(オペレータフュージョン)」の主な目的はどれか。
- A複数の演算を1つのカーネルにまとめ、途中の結果をメモリに書いて読み直す手間を省く
- B2つのAIモデルを1つにまとめて、答えの精度を上げる
- C演算器を物理的に溶かしてつなげる
答えと解説を見る
正解：A. 複数の演算を1つのカーネルにまとめ、途中の結果をメモリに書いて読み直す手間を省く
行列の積の後に、バイアスの足し算、活性化関数、正規化などの要素ごとの演算が続くことがよくあります。これらを別々のカーネルで行うと、毎回途中の結果をメモリに書いて次のカーネルで読み直すので、計算よりメモリの読み書きに時間がかかります。1つのカーネルにまとめれば、途中の結果をレジスタやチップ上のメモリに置いたまま続けて計算できます。
- A. 正しい。メモリ律速の演算で特に効果があります。
- B. モデルを合体させる話ではありません。
- C. 物理的な加工ではありません。