머신러닝의 기초
머신러닝 모델을 만드는 절차 중 데이터 누수(평가에 사용하는 데이터의 정보가 학습에 섞여 들어가는 것)를 일으키는 것은?
- A학습용 데이터만으로 표준화에 사용할 평균과 표준편차를 구하고, 같은 값으로 검증용 데이터와 테스트용 데이터도 표준화한다
- B모든 데이터로 표준화에 사용할 평균과 표준편차를 구해 표준화한 뒤, 학습용 데이터와 테스트용 데이터로 나눈다
- C시계열 데이터를 어느 날짜 이전은 학습용, 그 날짜 이후는 테스트용으로 나눈다
정답과 해설 보기
정답: B. 모든 데이터로 표준화에 사용할 평균과 표준편차를 구해 표준화한 뒤, 학습용 데이터와 테스트용 데이터로 나눈다
데이터 누수는 원래 예측 시점에는 사용할 수 없어야 할 정보나 평가에 사용하는 데이터의 정보가 학습 과정에 들어가는 것입니다. 전체 데이터로 평균이나 표준편차를 구한 뒤 나누면, 테스트용 데이터의 통계량이 전처리를 통해 학습에 사용되어 성능이 실제보다 좋게 추정될 우려가 있습니다. 전처리의 파라미터는 학습용 데이터만으로 구하고, 그 값을 검증용이나 테스트용 데이터에 적용하는 것이 올바른 절차입니다. 시계열 데이터에서는 무작위로 나누면 미래의 정보로 과거를 예측하게 되므로, 시간 순서대로 나눕니다.