機器學習基礎
下列建立機器學習模型的步驟中,何者造成了資料洩漏(評估用資料的資訊混入訓練中)?
- A只用訓練資料求出標準化所用的平均與標準差,再以相同的值將驗證資料與測試資料標準化
- B先用全部資料求出標準化所用的平均與標準差並進行標準化,之後才分成訓練資料與測試資料
- C將時間序列資料中某個日期之前的部分作為訓練用,該日期之後的部分作為測試用
查看答案與解析
正確答案:B. 先用全部資料求出標準化所用的平均與標準差並進行標準化,之後才分成訓練資料與測試資料
資料洩漏是指在預測當下原本無法取得的資訊,或評估用資料的資訊,混入訓練過程中。若先用全部資料求出平均與標準差再分割,測試資料的統計量就會透過前處理被用於訓練,可能使性能被估計得比實際更好。正確的步驟是只用訓練資料求出前處理的參數,再將該值套用到驗證與測試資料。對時間序列資料而言,隨機分割等於用未來的資訊預測過去,因此要依時間順序分割。
- A. 這是防止洩漏的正確步驟。前處理的參數只用訓練資料求出。
- B. 正確。測試資料的平均與標準差會透過前處理混入訓練中。
- C. 這是時間序列資料的正確分法,可避免未來的資訊混入訓練。