AI 하드웨어·소프트웨어 스택
지식 증류(날리지 디스틸레이션)의 설명으로 올바른 것은 무엇인가?
- A모델의 가중치를 가열하여 증발시켜 작게 만든다
- B학습 데이터를 증류수로 씻는다
- C큰 교사 모델의 출력을 모방하도록 작은 학생 모델을 학습시켜, 작은 모델로 비슷한 성능을 얻는다
정답과 해설 보기
정답: C. 큰 교사 모델의 출력을 모방하도록 작은 학생 모델을 학습시켜, 작은 모델로 비슷한 성능을 얻는다
지식 증류에서는 이미 학습된 큰 모델(교사)이 내놓는 답의 확률 분포 등을 목표로 삼아 작은 모델(학생)을 학습시킵니다. 정답 레이블뿐 아니라 교사가 '어떤 답이 어느 정도 그럴듯한가'라고 생각한 정보도 배울 수 있으므로, 작은 모델로도 원래 모델에 가까운 성능을 얻을 수 있습니다. 추론의 계산과 메모리를 줄이는 방법으로, 양자화나 프루닝과 조합하여 사용됩니다.
- A. 물리적인 처리가 아닙니다.
- B. 화학의 증류와는 관계가 없습니다.
- C. 정답입니다. 추론의 계산과 메모리를 줄일 수 있습니다.