머신러닝의 기초
앙상블 학습의 배깅(랜덤 포레스트 등)과 부스팅의 차이로 적절한 것은?
- A배깅은 복원 추출로 만든 여러 학습용 데이터로 독립적으로 모델을 학습하여 결과를 평균이나 다수결로 합치고, 부스팅은 앞 모델의 오류를 보완하도록 모델을 차례로 추가해 나간다
- B배깅은 앞 모델이 틀린 데이터를 중시하면서 모델을 하나씩 차례로 추가하고, 부스팅은 복원 추출한 데이터로 서로 독립적인 모델을 병렬로 학습하여 다수결을 취한다
- C배깅도 부스팅도 하나의 큰 결정 트리를 만든 뒤 불필요한 가지를 잘라 내어 과적합을 막는 방법이다
정답과 해설 보기
정답: A. 배깅은 복원 추출로 만든 여러 학습용 데이터로 독립적으로 모델을 학습하여 결과를 평균이나 다수결로 합치고, 부스팅은 앞 모델의 오류를 보완하도록 모델을 차례로 추가해 나간다
배깅은 원래 데이터에서 중복을 허용하여 무작위로 뽑아내는 것(부트스트랩)으로 조금씩 다른 학습용 데이터를 만들고, 각각으로 학습한 많은 모델의 예측을 평균이나 다수결로 합칩니다. 모델끼리는 독립적이므로 병렬로 학습할 수 있으며, 주로 분산을 낮추는 효과가 있습니다. 랜덤 포레스트는 분할에 사용할 특성도 무작위로 골라 결정 트리의 다양성을 높인 배깅 방법입니다. 부스팅은 그때까지의 모델의 오류를 보완하도록 약한 모델을 차례로 추가해 나가는 방법으로, 주로 편향을 낮춥니다.