AI硬體與軟體堆疊
關於表示大規模訓練效率的指標MFU（Model FLOPs Utilization），下列說明何者正確？
- A由模型計算所需的運算數求得的實際運算效能，相當於硬體尖峰效能的百分之幾
- B模型權重之中非0者所佔的比例
- CGPU記憶體之中被使用的比例
查看答案與解析
正確答案：A. 由模型計算所需的運算數求得的實際運算效能，相當於硬體尖峰效能的百分之幾
MFU是由每秒處理的token數與模型所需的運算數，求出實際進行的有用計算的速度，再除以GPU尖峰效能所得的值。若有通訊等待、受記憶體限制的運算、管線氣泡、重新計算等，就會下降。因為能看出硬體被運用到什麼程度，所以可作為訓練設定與軟體改善的參考。
- A. 正確。在大規模訓練中，40～60%左右也算是不錯的值。
- B. 與稀疏的比例是不同的東西。
- C. 不是記憶體的使用率。