AI 하드웨어·소프트웨어 스택
AI 추론을 클라우드 서버가 아니라 스마트폰 같은 단말 안(엣지)에서 수행할 때의 이점으로 해당하지 않는 것은 무엇인가?
- A단말 안이라면 아무리 큰 모델이라도 제한 없이 구동할 수 있다
- B통신을 기다리지 않으므로 응답이 빠르고 통신이 안 되는 곳에서도 사용할 수 있다
- C데이터를 외부로 보내지 않으므로 프라이버시를 지키기 쉽다
정답과 해설 보기
정답: A. 단말 안이라면 아무리 큰 모델이라도 제한 없이 구동할 수 있다
엣지에서의 추론은 통신 지연이 없고, 통신이 없어도 동작하며, 사진이나 음성 같은 데이터를 외부로 보내지 않아도 되고, 서버 비용이 들지 않는다는 이점이 있습니다. 반면 단말의 메모리, 배터리, 발열에는 엄격한 제약이 있으므로 큰 모델은 그대로는 구동되지 않습니다. 양자화나 작은 모델로의 증류, NPU와 같은 전력 효율이 높은 전용 회로를 사용하여 제약 안에서 구동합니다.
- A. 정답입니다. 단말은 메모리와 전력에 강한 제약이 있습니다.
- B. 이것은 엣지의 이점입니다.
- C. 이것은 엣지의 이점입니다.