AI 하드웨어·소프트웨어 스택
대규모 언어 모델의 추론에서 긴 문장이나 큰 배치를 다룰 때 문제가 되기 쉬운 것은 무엇인가?
- A가중치의 수가 문장 길이에 비례하여 늘어난다
- BKV 캐시 메모리가 문장 길이와 배치 크기에 비례하여 늘어나, 가중치보다 커지기도 한다
- C토큰 수가 늘어나면 모델의 답이 반드시 짧아진다
정답과 해설 보기
정답: B. KV 캐시 메모리가 문장 길이와 배치 크기에 비례하여 늘어나, 가중치보다 커지기도 한다
KV 캐시의 크기는 층 수 × Key와 Value의 차원 × 토큰 수 × 배치 크기 × 요소 하나당 바이트 수로 결정됩니다. 수만 토큰의 긴 문장이나 다수의 동시 요청에서는 이것이 수십 GB가 되어 가중치 메모리를 넘기도 합니다. 그래서 KV 캐시를 낮은 정밀도로 가지거나, 여러 헤드에서 Key와 Value를 공유하거나, 메모리를 잘게 나눈 블록으로 관리하는 등의 방법이 사용됩니다.
- A. 가중치의 수는 일정합니다.
- B. 정답입니다. KV 캐시의 압축이나 양자화 등의 기법이 사용됩니다.
- C. 답의 길이와는 관계가 없습니다.