機械学習の基礎
モデルの誤差を、バイアス(偏り)とバリアンス(ばらつき)に分けて考えるとき、適切なものはどれか。
- Aバイアスが大きいモデルは、学習用データの選び方によって予測が大きく変わり、過学習を起こしやすい
- Bモデルを複雑にするほどバイアスとバリアンスの両方が小さくなるので、できるだけ複雑なモデルを使うのがよい
- Cモデルを複雑にするとバイアスは小さくなりやすいがバリアンスは大きくなりやすいので、両者の釣り合いがとれた複雑さを選ぶ
答えと解説を見る
正解：C. モデルを複雑にするとバイアスは小さくなりやすいがバリアンスは大きくなりやすいので、両者の釣り合いがとれた複雑さを選ぶ
二乗誤差で考えると、新しいデータに対する誤差の期待値は、バイアスの2乗、バリアンス、データ自体の雑音の3つの和に分けられます。バイアスはモデルが単純すぎて真の関係をとらえきれないことによる誤差で、大きいと未学習になります。バリアンスは学習用データの選び方によって予測がばらつくことによる誤差で、大きいと過学習になります。一般にモデルを複雑にするとバイアスは減りバリアンスは増えるので、両者の釣り合いがとれた複雑さを、検証用データや交差検証で選びます。
- A. 学習用データによって予測が大きく変わり、過学習を起こしやすいのは、バリアンスが大きいモデルです。
- B. 一般に、モデルを複雑にするとバイアスは減りますが、バリアンスは増えます。
- C. 正しい。バイアスとバリアンスはトレードオフの関係にあるので、釣り合いのとれた複雑さを選びます。