AIハードウェアとソフトウェアスタック
AIのアクセラレータの性能として示される「○○ TOPS」という値について注意すべき点として正しいものはどれか。
- A多くはINT8などの低い精度で数えた理論上の最大値で、実際のモデルでの速さはメモリ帯域や演算器の利用率で大きく変わる
- BTOPSが2倍なら、どのモデルでも必ず2倍速く動く
- CTOPSはメモリの容量を表す値である
答えと解説を見る
正解：A. 多くはINT8などの低い精度で数えた理論上の最大値で、実際のモデルでの速さはメモリ帯域や演算器の利用率で大きく変わる
TOPS(1秒あたりの兆回の演算)は、全部の演算器が休みなく動いたときの理論上の値で、多くはINT8やそれより低い精度で数えられ、スパースを使った場合の値のこともあります。実際のモデルでは、メモリ帯域で律速されたり、演算器が遊んだり、対応していない演算をほかの回路で行ったりするので、実効の性能はずっと低くなることがあります。製品を比べるときは、同じ条件の実測の値を見ることが大切です。
- A. 正しい。精度の条件や実測の値を確かめる必要があります。
- B. メモリ律速のモデルでは、TOPSを上げても速くなりません。
- C. 1秒あたりの演算回数(兆回)を表します。