AIハードウェアとソフトウェアスタック
ReLUやレイヤー正規化のような要素ごとの演算が、AIの計算の中で演算の回数の割に時間がかかりやすい理由として正しいものはどれか。
- AReLUの計算は、行列の積より演算の回数が多いから
- B各要素を読み書きする量に比べて計算が少ないので、メモリ帯域で速さが決まるから
- C要素ごとの演算はGPUでは実行できないから
答えと解説を見る
正解：B. 各要素を読み書きする量に比べて計算が少ないので、メモリ帯域で速さが決まるから
ReLUは各要素を読んで0と比べて書くだけで、1要素あたりの計算はわずかです。演算強度が非常に低いので、演算器の性能ではなくメモリの帯域で時間が決まります。演算の回数では全体のわずかでも、時間では無視できない割合を占めることがあります。行列の積の直後に融合したり、正規化をまとめて1つのカーネルにしたりして、メモリの読み書きを減らします。
- A. 演算の回数は行列の積よりずっと少ないです。
- B. 正しい。融合で速くできる代表的な演算です。
- C. GPUで実行できます。