機械学習の基礎
大量のデータで学習済みのモデルを、別の課題に少ないデータで利用する転移学習の説明として、適切なものはどれか。
- A学習済みのモデルの重みを出発点にして、新しい課題に合わせて出力層を付け替えたり、新しいデータで一部または全体を再学習(ファインチューニング)したりする
- B学習済みのモデルは使わず、新しい課題の少ないデータだけを使って、ランダムな初期値の重みからすべての層を学習し直す
- C大きなモデルの出力をまねるように小さなモデルを学習させて、同じ課題をより少ない計算とメモリで解けるようにする
答えと解説を見る
正解：A. 学習済みのモデルの重みを出発点にして、新しい課題に合わせて出力層を付け替えたり、新しいデータで一部または全体を再学習(ファインチューニング)したりする
転移学習は、ある課題で学習したモデルが獲得した特徴を、別の課題に生かす方法です。例えば、大量の画像で学習したCNNの入力に近い層は、輪郭や模様などの一般的な特徴を取り出せるので、出力層だけを新しい課題に合わせて付け替えて学習したり、全体を小さな学習率で再学習(ファインチューニング)したりします。ゼロから学習するより少ないデータと計算で高い性能を得やすく、言語モデルを特定の用途に合わせるときにも使われます。
- A. 正しい。学習済みの重みを出発点にして、新しい課題に合わせて再学習します。
- B. ゼロから学習する方法で、学習済みのモデルが獲得した特徴を生かしていません。
- C. 知識蒸留の説明です。同じ課題のモデルを小さくするための方法です。