AI 하드웨어·소프트웨어 스택
FP16으로 약 14 GB의 가중치를 가진 모델을 메모리 대역폭 2 TB/s의 GPU에서 배치 크기 1로 디코드한다. 토큰 하나를 생성하는 데 걸리는 시간의 하한에 가장 가까운 것은 무엇인가?
- A약 7 µs
- B약 7 s
- C약 7 ms
정답과 해설 보기
정답: C. 약 7 ms
디코드에서는 토큰마다 모든 가중치를 읽어 와야 하므로, 적어도 가중치 크기 ÷ 메모리 대역폭만큼의 시간이 걸립니다. 14 GB ÷ 2 TB/s = 0.007초 = 7 ms이고, 초당 최대 약 140토큰입니다. 가중치를 4비트로 양자화하여 약 3.5 GB로 하면 이 하한은 약 1.75 ms가 됩니다. 디코드에서 가중치 양자화가 특히 효과적인 것은 이 때문입니다.
- A. 단위를 1000배 착각했습니다.
- B. 단위를 1000배 착각했습니다.
- C. 정답입니다. 14 GB ÷ 2 TB/s = 7 ms입니다.