繁體中文
選單

什麼是過擬合（Overfitting）

模型連訓練資料中的細微特徵與偶然的雜訊都記住，使得在訓練資料上的誤差很小，但對新資料的誤差（泛化誤差）卻很大的狀態。以少量資料訓練參數眾多的複雜模型時容易發生。可透過增加資料、簡化模型、正規化（regularization）、丟棄法（dropout）、提前停止等方法加以抑制。

日文名稱: 過学習

「過擬合（Overfitting）」出現在1領域的3道練習題中（機器學習基礎等）。

這個名詞所屬的領域: 機器學習基礎

如何辨別

過擬合要與另外保留、不用於訓練的驗證資料上的表現比較來辨別。以訓練的次數為橫軸，畫出訓練資料與驗證資料之損失的學習曲線，會看到訓練資料的損失持續下降，驗證資料的損失卻從某個時點開始上升。這個差距逐漸擴大的狀態就是過擬合。反之，若兩者的損失都一直很大、降不下來，則是模型過於簡單等原因而無法掌握趨勢的欠擬合（學習不足）。

發生的原因

模型的自由度（參數數量、決策樹的深度等）相對於資料量過大時，模型不只會符合原本的趨勢，連資料中碰巧含有的雜訊也會一併符合。例如，用9次多項式擬合x值各不相同的10個點，可以做出剛好通過所有點的曲線，但在點與點之間會大幅起伏，對新點的預測會大幅偏離。一邊看著同一份資料一邊反覆調整超參數，也會使表面上的性能提高，成為過擬合的原因。

抑制的方法

最可靠的方法是增加訓練資料。無法增加資料時，可用旋轉、翻轉影像等資料擴增來增加表面上的資料量。在模型方面，有減少參數使模型變簡單、在損失中加入權重大小之懲罰項的正規化、訓練中隨機停用神經元的丟棄法，以及驗證資料的損失開始上升時就停止訓練的提前停止等方法。將多個模型的預測加以平均的集成學習，也能抑制預測的變異。

練習過擬合（Overfitting）的題目

下列何者是發生過擬合（過度擬合）時會看到的情形？

  1. A訓練資料上的誤差很小，但驗證資料上的誤差很大
  2. B在訓練資料與驗證資料上，誤差都一直很大、降不下來
  3. C隨著訓練進行，訓練資料與驗證資料上的誤差都以同樣的方式持續下降
查看答案與解析

正確答案：A. 訓練資料上的誤差很小，但驗證資料上的誤差很大

過擬合是模型連訓練資料中的細微特徵與雜訊都記住，使對新資料的性能（泛化性能）下降的狀態。訓練資料上的誤差很小、驗證資料上的誤差卻很大，是判斷的依據。連訓練資料上的誤差都很大的狀態，則是模型過於簡單等原因而無法掌握趨勢的欠擬合（學習不足）。對策有增加資料、簡化模型、正規化（regularization）、丟棄法（dropout），以及在驗證資料的誤差開始上升時停止訓練的提前停止等。

下列關於抑制過擬合的正規化等方法的敘述，何者適當？

  1. AL1正規化是在損失中加入權重絕對值的總和，容易使部分權重恰好變為0
  2. BL2正規化是在損失中加入權重絕對值的總和，具有將不需要的權重設為0、篩選特徵的強烈作用
  3. C丟棄法（dropout）在訓練與推論時每次都隨機停用神經元，使輸出具有變異
查看答案與解析

正確答案：A. L1正規化是在損失中加入權重絕對值的總和，容易使部分權重恰好變為0

正規化（regularization）是在損失函數中加入與權重大小相應的懲罰，防止權重變得過大，使模型保持簡單的方法。L1正規化加入權重絕對值的總和，容易使部分權重恰好變為0，因此具有篩選所用特徵的作用（Lasso迴歸）。L2正規化加入權重的平方和，使權重整體變小，但不易恰好變為0（脊迴歸、權重衰減）。丟棄法只在訓練時隨機停用神經元，避免過度依賴特定的神經元，推論時則使用所有神經元。

常見問題

過擬合與欠擬合有何不同？

過擬合是過度符合訓練資料，使新資料上的誤差變大的狀態，此時訓練資料上的誤差很小。欠擬合則是模型過於簡單或訓練不足，連訓練資料上的誤差都很大的狀態。以偏差與變異來說，欠擬合相當於偏差大，過擬合相當於變異大。

訓練資料上的準確率為100%，就是過擬合嗎？

光憑這點無法判斷。若在驗證資料與測試資料上也有足夠的表現，就沒有問題。當訓練資料與驗證資料上的表現差距很大時，才要懷疑是過擬合。

解析中的「過擬合（Overfitting）」

出現「過擬合（Overfitting）」的題目（3題）

  1. 下列何者是發生過擬合（過度擬合）時會看到的情形？
  2. 下列關於抑制過擬合的正規化等方法的敘述，何者適當？
  3. 將模型的誤差分成偏差（bias）與變異（variance）來思考時，下列何者適當？

半導體、電子電路與資訊計算工具

混淆矩陣計算工具由 TP、FN、FP、TN 計算準確率、精確率、召回率、F1 分數、特異度、MCC 等評估指標

相關名詞

正規化（Regularization） 期望值 交叉驗證（Cross-validation） 主成分分析（PCA） 卷積神經網路（CNN） 非監督式學習（Unsupervised learning） 強化學習（Reinforcement learning） 啟動函數（Activation function） 梯度下降法（Gradient descent） 混淆矩陣（Confusion matrix）

前往名詞解釋列表