機械学習の基礎
過学習を抑える正則化などの手法の説明として、適切なものはどれか。
- AL1正則化は重みの絶対値の和を損失に加えるもので、一部の重みがちょうど0になりやすい
- BL2正則化は重みの絶対値の和を損失に加えるもので、不要な重みを0にして特徴量を絞り込む働きが強い
- Cドロップアウトは、学習でも推論でも毎回ランダムにニューロンを無効にして、出力にばらつきを持たせる
答えと解説を見る
正解：A. L1正則化は重みの絶対値の和を損失に加えるもので、一部の重みがちょうど0になりやすい
正則化は、損失関数に重みの大きさに応じた罰則を加えて、重みが大きくなりすぎるのを防ぎ、モデルを単純に保つ方法です。L1正則化は重みの絶対値の和を加え、一部の重みがちょうど0になりやすいので、使う特徴量を絞り込む働きがあります(Lasso回帰)。L2正則化は重みの2乗の和を加え、重みを全体的に小さくしますが、ちょうど0にはなりにくい性質があります(リッジ回帰、重み減衰)。ドロップアウトは、学習のときだけランダムにニューロンを無効にして特定のニューロンに頼りすぎないようにする方法で、推論のときはすべてのニューロンを使います。
- A. 正しい。絶対値の罰則によって、一部の重みがちょうど0になりやすくなります。
- B. L2正則化が加えるのは重みの2乗の和で、重みを全体に小さくしますが、ちょうど0にはなりにくいです。絶対値の和を加えるのはL1正則化です。
- C. ニューロンを無効にするのは学習のときだけで、推論のときはすべてのニューロンを使います。