什麼是MFU（模型 FLOPs 利用率）

Model FLOPs Utilization 的縮寫。表示依模型所需運算數求得的實際運算效能，占硬體峰值效能多少百分比的指標。

日文名稱: MFU

「MFU（模型 FLOPs 利用率）」出現在1領域的1道練習題中（AI硬體與軟體堆疊等）。

這個名詞所屬的領域: AI硬體與軟體堆疊

練習MFU（模型 FLOPs 利用率）的題目

關於表示大規模訓練效率的指標MFU（Model FLOPs Utilization），下列說明何者正確？

  1. A由模型計算所需的運算數求得的實際運算效能，相當於硬體尖峰效能的百分之幾
  2. B模型權重之中非0者所佔的比例
  3. CGPU記憶體之中被使用的比例
查看答案與解析

正確答案：A. 由模型計算所需的運算數求得的實際運算效能，相當於硬體尖峰效能的百分之幾

MFU是由每秒處理的token數與模型所需的運算數，求出實際進行的有用計算的速度，再除以GPU尖峰效能所得的值。若有通訊等待、受記憶體限制的運算、管線氣泡、重新計算等，就會下降。因為能看出硬體被運用到什麼程度，所以可作為訓練設定與軟體改善的參考。

解析中的「MFU（模型 FLOPs 利用率）」

出現「MFU（模型 FLOPs 利用率）」的題目（1題）

  1. 關於表示大規模訓練效率的指標MFU（Model FLOPs Utilization），下列說明何者正確？

相關名詞

GPU 反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization） 剪枝（Pruning） 張量平行（Tensor parallelism）

前往名詞解釋列表