AI 하드웨어·소프트웨어 스택

피크 성능 100 TFLOPS, 메모리 대역폭 2 TB/s의 가속기에서 연산 강도가 10 FLOP/바이트인 처리를 실행한다. Roofline 모델로 어림한 달성 가능한 성능은 얼마인가?

  1. A100 TFLOPS(연산 율속)
  2. B20 TFLOPS(메모리 율속)
  3. C10 TFLOPS(메모리 율속)
정답과 해설 보기

정답: B. 20 TFLOPS(메모리 율속)

Roofline 모델에서 달성 가능한 성능은 '피크 성능'과 '대역폭 × 연산 강도' 중 작은 쪽입니다. 2 TB/s × 10 FLOP/바이트 = 20 TFLOPS로 피크 100보다 작으므로, 이 처리는 메모리 율속이며 20 TFLOPS가 상한입니다. 피크 ÷ 대역폭 = 50 FLOP/바이트가 경계(릿지 포인트)이며, 이보다 연산 강도가 높은 처리만 피크 성능에 도달합니다.

  • A. 연산 강도가 50 미만이므로 피크에는 도달하지 못합니다.
  • B. 정답입니다. 2 TB/s × 10 = 20 TFLOPS입니다.
  • C. 대역폭을 1 TB/s로 놓고 계산했습니다.
이 분야 연습하기 분야로 돌아가기

AI 하드웨어·소프트웨어 스택의 다른 문제

  1. 입력이 하나뿐일 때(배치 크기 1), 완전 연결층의 계산(가중치 행렬과 벡터의 곱)이 메모리 율속이 되기 쉬운 이유로 올바른 것은 무엇인가?
  2. 추론에서 배치 크기(한꺼번에 처리하는 입력의 수)를 키우면 전체 처리 효율이 올라가기 쉬운 이유는 무엇인가?
  3. 추론에서 배치 크기를 지나치게 키웠을 때의 단점으로 올바른 것은 무엇인가?
  4. 대규모 언어 모델의 추론은 입력 문장을 한꺼번에 처리하는 단계(프리필)와 토큰을 하나씩 출력으로 만드는 단계(디코드)로 나뉜다. 각각의 성능을 주로 결정하는 것의 조합으로 올바른 것은 무엇인가(배치가 작은 경우)?
  5. 대규모 언어 모델의 추론에서 사용되는 KV 캐시의 역할로 올바른 것은 무엇인가?