AI硬體與軟體堆疊
關於AI加速器效能所標示的「○○ TOPS」這個數值，應注意的地方下列何者正確？
- A多半是以INT8等低精度計算的理論最大值，在實際模型上的速度會因記憶體頻寬或運算單元的使用率而有很大差異
- BTOPS是2倍的話，任何模型必定都能以2倍的速度執行
- CTOPS是表示記憶體容量的數值
查看答案與解析
正確答案：A. 多半是以INT8等低精度計算的理論最大值，在實際模型上的速度會因記憶體頻寬或運算單元的使用率而有很大差異
TOPS（每秒兆次運算）是所有運算單元不間斷運作時的理論值，多半以INT8或更低的精度計算，有時也是使用稀疏時的數值。在實際模型中，會受記憶體頻寬限制、運算單元閒置，或由其他電路執行不支援的運算，因此實際效能可能低得多。比較產品時，重要的是查看相同條件下的實測值。
- A. 正確。必須確認精度條件與實測值。
- B. 對於受記憶體限制的模型，即使提高TOPS也不會變快。
- C. 它表示的是每秒的運算次數（兆次）。