전이 학습(Transfer Learning)란?

어떤 과제에서 학습한 모델이 획득한 지식(특징을 추출하는 방법 등)을 다른 과제에 활용하는 방법. 대량의 데이터로 사전에 학습한 모델의 가중치를 출발점으로 삼아, 출력층을 교체하거나 새 과제의 데이터로 일부 또는 전체를 재학습(파인튜닝)하거나 한다. 처음부터 학습하는 것보다 적은 데이터와 계산으로 높은 성능을 얻기 쉬우며, 이미지 인식이나 언어 모델에서 널리 사용된다.

일본어 명칭: 転移学習

전이 학습(Transfer Learning)은(는) 머신러닝의 기초 등 1개 분야의 연습 문제 1개에 나와요.

분야: 머신러닝의 기초

도전해 보기: 전이 학습(Transfer Learning) 관련 문제

대량의 데이터로 학습을 마친 모델을 다른 과제에 적은 데이터로 활용하는 전이 학습에 대한 설명으로 적절한 것은?

  1. A학습을 마친 모델의 가중치를 출발점으로 삼아, 새 과제에 맞추어 출력층을 교체하거나 새 데이터로 일부 또는 전체를 재학습(파인튜닝)하거나 한다
  2. B학습을 마친 모델은 사용하지 않고, 새 과제의 적은 데이터만 사용하여 무작위 초깃값의 가중치로부터 모든 층을 다시 학습한다
  3. C큰 모델의 출력을 흉내 내도록 작은 모델을 학습시켜, 같은 과제를 더 적은 계산과 메모리로 풀 수 있게 한다
정답과 해설 보기

정답: A. 학습을 마친 모델의 가중치를 출발점으로 삼아, 새 과제에 맞추어 출력층을 교체하거나 새 데이터로 일부 또는 전체를 재학습(파인튜닝)하거나 한다

전이 학습은 어떤 과제에서 학습한 모델이 획득한 특징을 다른 과제에 활용하는 방법입니다. 예를 들어 대량의 이미지로 학습한 CNN의 입력에 가까운 층은 윤곽이나 무늬 등의 일반적인 특징을 추출할 수 있으므로, 출력층만 새 과제에 맞추어 교체하여 학습하거나 전체를 작은 학습률로 재학습(파인튜닝)하거나 합니다. 처음부터 학습하는 것보다 적은 데이터와 계산으로 높은 성능을 얻기 쉬우며, 언어 모델을 특정 용도에 맞출 때도 사용됩니다.

해설 속 전이 학습(Transfer Learning)

전이 학습(Transfer Learning)이(가) 나오는 문제 (1)

  1. 대량의 데이터로 학습을 마친 모델을 다른 과제에 적은 데이터로 활용하는 전이 학습에 대한 설명으로 적절한 것은?

관련 용어

합성곱 신경망(CNN) 강화 학습(Reinforcement Learning) 경사 하강법(Gradient Descent) 과적합(Overfitting) 교차 검증(Cross-validation) 비지도 학습(Unsupervised Learning) 순환 신경망(RNN) 정밀도와 재현율(Precision and Recall) 정칙화(Regularization) 주성분 분석(PCA)

용어집으로 돌아가기