機器學習基礎
下列關於抑制過擬合的正規化等方法的敘述，何者適當？
- AL1正規化是在損失中加入權重絕對值的總和，容易使部分權重恰好變為0
- BL2正規化是在損失中加入權重絕對值的總和，具有將不需要的權重設為0、篩選特徵的強烈作用
- C丟棄法（dropout）在訓練與推論時每次都隨機停用神經元，使輸出具有變異
查看答案與解析
正確答案：A. L1正規化是在損失中加入權重絕對值的總和，容易使部分權重恰好變為0
正規化（regularization）是在損失函數中加入與權重大小相應的懲罰，防止權重變得過大，使模型保持簡單的方法。L1正規化加入權重絕對值的總和，容易使部分權重恰好變為0，因此具有篩選所用特徵的作用（Lasso迴歸）。L2正規化加入權重的平方和，使權重整體變小，但不易恰好變為0（脊迴歸、權重衰減）。丟棄法只在訓練時隨機停用神經元，避免過度依賴特定的神經元，推論時則使用所有神經元。
- A. 正確。絕對值的懲罰容易使部分權重恰好變為0。
- B. L2正規化加入的是權重的平方和，會使權重整體變小，但不易恰好變為0。加入絕對值總和的是L1正規化。
- C. 只有訓練時才會停用神經元，推論時使用所有神經元。