Rooflineモデルとは
るーふらいんもでる
達成できる性能を「ピーク性能」と「メモリ帯域×演算強度」の小さい方として表すモデル。処理が演算律速かメモリ律速かを見分けるのに使う。
この用語の分野: AIハードウェアとソフトウェアスタック
るーふらいんもでる
達成できる性能を「ピーク性能」と「メモリ帯域×演算強度」の小さい方として表すモデル。処理が演算律速かメモリ律速かを見分けるのに使う。
この用語の分野: AIハードウェアとソフトウェアスタック
Rooflineモデルでは、達成できる性能は「ピーク性能」と「帯域×演算強度」の小さい方です。
ピーク性能100 TFLOPS、メモリ帯域2 TB/sのアクセラレータで、演算強度が10 FLOP/バイトの処理を実行…カタログの理論値と比べて、実際にどれだけの帯域が使えるかを知る目安になり、Rooflineモデルの斜めの線の傾きにも使われます。
STREAMベンチマークで主に測るものはどれか。演算強度 演算の融合 STREAMベンチマーク ベンチマーク アテンション AIコンパイラ MFU オールリデュース ONNX 学習後量子化