AI 하드웨어·소프트웨어 스택
추론에서 배치 크기를 지나치게 키웠을 때의 단점으로 올바른 것은 무엇인가?
- A모을 입력이 갖춰지기를 기다리는 시간과 1회 처리 시간이 늘어 하나의 요청에 대한 응답이 느려지고 메모리도 많이 사용한다
- B가중치 값이 바뀌어 답이 부정확해진다
- C연산 강도가 떨어져 효율이 나빠진다
정답과 해설 보기
정답: A. 모을 입력이 갖춰지기를 기다리는 시간과 1회 처리 시간이 늘어 하나의 요청에 대한 응답이 느려지고 메모리도 많이 사용한다
배치를 키우면 전체 처리량(스루풋)은 올라가지만, 다른 입력이 모일 때까지 기다리거나 모은 만큼 1회 계산이 길어지므로 하나의 요청이 돌아오기까지의 시간(레이턴시)은 길어집니다. 중간 결과와 KV 캐시 메모리도 배치에 비례하여 늘어납니다. 대화형 애플리케이션에서는 응답 속도 목표를 지킬 수 있는 범위에서 배치를 키웁니다.
- A. 정답입니다. 처리량과 응답 속도의 균형이 필요합니다.
- B. 가중치는 바뀌지 않습니다.
- C. 연산 강도는 오히려 올라갑니다.