演算の融合とは
えんざんのゆうごう
複数の演算を1つのカーネルにまとめ、途中の結果をメモリに書いて読み直す手間を省く最適化。オペレータフュージョン。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「演算の融合」
AIコンパイラは、モデルを演算とデータの流れの計算グラフとして受け取り、まとめられる演算の融合、不要な計算の削除、メモリの並べ方の選択、タイルの大きさの調整などを行い、GPUやNPUなどの対象に合ったカーネルを作ります。
XLAやTVM、PyTorchのコンパイル機能のようなAIコンパイラが行う主な処理として正しいものはどれか。ブロッキングや演算の融合でデータを何度も使い、1バイトあたりの演算の数(演算強度)を増やせば、処理は図の右へ移り、上限が上がります。
Rooflineモデルで、ある処理がメモリ帯域で制限される領域にあると分かったとき、性能を上げる方向として正しいものは…
「演算の融合」が出てくる問題(3問)
関連する用語
AIコンパイラ 計算グラフ GPU NPU(ニューラルプロセッシングユニット) Rooflineモデル 演算強度 アテンション MFU オールリデュース ONNX