機械学習の基礎
アンサンブル学習のバギング(ランダムフォレストなど)とブースティングの違いとして、適切なものはどれか。
- Aバギングは、復元抽出で作ったいくつもの学習用データで独立にモデルを学習して結果を平均や多数決でまとめ、ブースティングは、前のモデルの誤りを補うようにモデルを順に追加していく
- Bバギングは、前のモデルが誤ったデータを重視しながらモデルを1つずつ順に追加し、ブースティングは、復元抽出したデータで互いに独立なモデルを並列に学習して多数決をとる
- Cバギングもブースティングも、1つの大きな決定木を作ってから不要な枝を切り落とし、過学習を防ぐ方法である
答えと解説を見る
正解：A. バギングは、復元抽出で作ったいくつもの学習用データで独立にモデルを学習して結果を平均や多数決でまとめ、ブースティングは、前のモデルの誤りを補うようにモデルを順に追加していく
バギングは、元のデータから重複を許してランダムに抜き出す(ブートストラップ)ことで少しずつ違う学習用データを作り、それぞれで学習した多数のモデルの予測を平均や多数決でまとめます。モデルどうしは独立なので並列に学習でき、主にバリアンスを下げる効果があります。ランダムフォレストは、分割に使う特徴量もランダムに選んで決定木の多様性を高めたバギングの方法です。ブースティングは、それまでのモデルの誤りを補うように弱いモデルを順に追加していく方法で、主にバイアスを下げます。
- A. 正しい。バギングは独立なモデルの平均や多数決、ブースティングは誤りを補うモデルの順次の追加です。
- B. バギングとブースティングの説明が逆です。
- C. 決定木の剪定(枝刈り)の説明で、複数のモデルを組み合わせるアンサンブル学習ではありません。