AI 하드웨어·소프트웨어 스택
대규모 언어 모델의 추론을 빠르게 하는 '투기적 디코딩'의 발상으로 올바른 것은 무엇인가?
- A답을 무작위로 추측하여 그대로 출력한다
- B작은 모델로 몇 토큰 앞까지 초안을 만들고, 큰 모델로 그것들을 한 번에 검증하여 맞는 만큼을 한꺼번에 채택한다
- C큰 모델의 층을 절반으로 줄여 사용한다
정답과 해설 보기
정답: B. 작은 모델로 몇 토큰 앞까지 초안을 만들고, 큰 모델로 그것들을 한 번에 검증하여 맞는 만큼을 한꺼번에 채택한다
디코드는 메모리 율속이므로 큰 모델로 토큰 1개를 계산하든 여러 토큰을 한꺼번에 계산하든 가중치를 읽는 시간은 거의 같습니다. 그래서 가벼운 작은 모델로 다음 몇 토큰을 예측하고, 큰 모델은 그것들을 한 번의 순전파로 한꺼번에 확인하여 맞은 만큼을 한 번에 채택합니다. 예측이 잘 맞으면 큰 모델의 호출 횟수가 줄어 출력 품질을 바꾸지 않고 빨라집니다.
- A. 추측한 답은 반드시 큰 모델로 확인합니다.
- B. 정답입니다. 결과를 큰 모델 단독인 경우와 같게 할 수 있습니다.
- C. 큰 모델은 그대로 사용합니다.