AI 하드웨어·소프트웨어 스택

AI 가속기의 성능으로 제시되는 '○○ TOPS'라는 값에 대해 주의할 점으로 올바른 것은 무엇인가?

  1. A대부분 INT8 등 낮은 정밀도로 센 이론상 최댓값이며, 실제 모델에서의 속도는 메모리 대역폭이나 연산기 이용률에 따라 크게 달라진다
  2. BTOPS가 2배이면 어떤 모델이든 반드시 2배 빠르게 동작한다
  3. CTOPS는 메모리 용량을 나타내는 값이다
정답과 해설 보기

정답: A. 대부분 INT8 등 낮은 정밀도로 센 이론상 최댓값이며, 실제 모델에서의 속도는 메모리 대역폭이나 연산기 이용률에 따라 크게 달라진다

TOPS(초당 조 회의 연산)는 모든 연산기가 쉬지 않고 동작했을 때의 이론상 값으로, 대부분 INT8이나 그보다 낮은 정밀도로 세며 스파스를 사용한 경우의 값일 때도 있습니다. 실제 모델에서는 메모리 대역폭에 율속되거나, 연산기가 놀거나, 지원하지 않는 연산을 다른 회로에서 수행하기도 하므로 실효 성능은 훨씬 낮아질 수 있습니다. 제품을 비교할 때는 같은 조건의 실측값을 보는 것이 중요합니다.

  • A. 정답입니다. 정밀도 조건이나 실측값을 확인해야 합니다.
  • B. 메모리 율속인 모델에서는 TOPS를 올려도 빨라지지 않습니다.
  • C. 초당 연산 횟수(조 회)를 나타냅니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 대규모 학습의 효율을 나타내는 지표인 MFU(Model FLOPs Utilization)의 설명으로 올바른 것은 무엇인가?
  2. Transformer 모델의 학습에 필요한 연산 수의 기준으로, 파라미터 수를 N, 학습에 사용하는 토큰 수를 D라 할 때 자주 쓰이는 근사는 무엇인가?
  3. 파라미터 수 N의 대규모 언어 모델에서 토큰 1개를 생성하는 추론에 필요한 연산 수의 기준은 무엇인가(어텐션 부분 제외)?
  4. 소프트맥스 함수 exp(xi)/Σexp(xj)를 계산할 때 각 xi에서 최댓값을 뺀 뒤 계산하는 경우가 많은 이유로 올바른 것은 무엇인가?
  5. 대규모 언어 모델의 추론을 빠르게 하는 '투기적 디코딩'의 발상으로 올바른 것은 무엇인가?