MFU란?

えむえふゆー

Model FLOPs Utilizationの略。モデルに必要な演算の数から求めた実際の演算性能が、ハードウェアのピーク性能の何%にあたるかを示す指標。

일본어 명칭: MFU

MFU은(는) AI 하드웨어·소프트웨어 스택 등 1개 분야의 연습 문제 1개에 나와요.

분야: AI 하드웨어·소프트웨어 스택

도전해 보기: MFU 관련 문제

대규모 학습의 효율을 나타내는 지표인 MFU(Model FLOPs Utilization)의 설명으로 올바른 것은 무엇인가?

  1. A모델 계산에 필요한 연산 수로부터 구한 실제 연산 성능이 하드웨어 피크 성능의 몇 %에 해당하는가
  2. B모델 가중치 중 0이 아닌 것의 비율
  3. CGPU 메모리 중 사용되고 있는 비율
정답과 해설 보기

정답: A. 모델 계산에 필요한 연산 수로부터 구한 실제 연산 성능이 하드웨어 피크 성능의 몇 %에 해당하는가

MFU는 초당 처리한 토큰 수와 모델에 필요한 연산 수로부터 실제로 수행한 유용한 계산의 속도를 구하고, 그것을 GPU의 피크 성능으로 나눈 값입니다. 통신 대기, 메모리 율속 연산, 파이프라인 버블, 재계산 등이 있으면 낮아집니다. 하드웨어를 얼마나 활용하고 있는지 알 수 있으므로 학습 설정이나 소프트웨어 개선의 기준이 됩니다.

해설 속 MFU

MFU이(가) 나오는 문제 (1)

  1. 대규모 학습의 효율을 나타내는 지표인 MFU(Model FLOPs Utilization)의 설명으로 올바른 것은 무엇인가?

관련 용어

GPU 計算グラフ 勾配チェックポイント 構造化スパース 量子化を考慮した学習 逆伝播 演算強度 演算の融合 知識蒸留 推論

용어집으로 돌아가기