AI 하드웨어·소프트웨어 스택

대규모 학습의 효율을 나타내는 지표인 MFU(Model FLOPs Utilization)의 설명으로 올바른 것은 무엇인가?

  1. A모델 계산에 필요한 연산 수로부터 구한 실제 연산 성능이 하드웨어 피크 성능의 몇 %에 해당하는가
  2. B모델 가중치 중 0이 아닌 것의 비율
  3. CGPU 메모리 중 사용되고 있는 비율
정답과 해설 보기

정답: A. 모델 계산에 필요한 연산 수로부터 구한 실제 연산 성능이 하드웨어 피크 성능의 몇 %에 해당하는가

MFU는 초당 처리한 토큰 수와 모델에 필요한 연산 수로부터 실제로 수행한 유용한 계산의 속도를 구하고, 그것을 GPU의 피크 성능으로 나눈 값입니다. 통신 대기, 메모리 율속 연산, 파이프라인 버블, 재계산 등이 있으면 낮아집니다. 하드웨어를 얼마나 활용하고 있는지 알 수 있으므로 학습 설정이나 소프트웨어 개선의 기준이 됩니다.

  • A. 정답입니다. 대규모 학습에서는 40~60% 정도여도 좋은 값으로 봅니다.
  • B. 스파스 비율과는 다른 것입니다.
  • C. 메모리 사용률이 아닙니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. Transformer 모델의 학습에 필요한 연산 수의 기준으로, 파라미터 수를 N, 학습에 사용하는 토큰 수를 D라 할 때 자주 쓰이는 근사는 무엇인가?
  2. 파라미터 수 N의 대규모 언어 모델에서 토큰 1개를 생성하는 추론에 필요한 연산 수의 기준은 무엇인가(어텐션 부분 제외)?
  3. 소프트맥스 함수 exp(xi)/Σexp(xj)를 계산할 때 각 xi에서 최댓값을 뺀 뒤 계산하는 경우가 많은 이유로 올바른 것은 무엇인가?
  4. 대규모 언어 모델의 추론을 빠르게 하는 '투기적 디코딩'의 발상으로 올바른 것은 무엇인가?
  5. 추천 시스템 모델 등에서 사용되는 큰 임베딩 테이블의 조회가 AI 하드웨어에서 다루기 어려운 이유로 올바른 것은 무엇인가?