機械学習の基礎
正解のクラスに対してモデルが出力した確率をpとするとき、分類の学習で使う交差エントロピー損失 −log p の性質として、適切なものはどれか。
- Apが1に近いほど損失は0に近づき、pが0に近づくほど損失は急に大きくなる
- Bpの値にかかわらず、損失は正解と予測の差の2乗に比例する
- Cpが0.5のときに損失が最大になり、pが0や1に近いほど損失は小さくなる
答えと解説を見る
正解：A. pが1に近いほど損失は0に近づき、pが0に近づくほど損失は急に大きくなる
交差エントロピー損失は、正解のクラスに割り当てた確率pが1なら −log 1 = 0 になり、pが小さくなるほど大きくなり、pが0に近づくと際限なく大きくなります。自然対数で計算すると、p = 0.5 のとき約0.69、p = 0.1 のとき約2.3です。自信をもって間違えた予測に大きな罰則を与えるので、ソフトマックス関数やシグモイド関数で確率を出力する分類のモデルによく使われます。誤差の2乗を使う平均二乗誤差は、主に連続した値を予測する回帰で使われます。
- A. 正しい。pが1なら損失は0、pが0に近づくほど損失は大きくなります。
- B. 差の2乗を使うのは平均二乗誤差です。
- C. 損失はpが大きいほど小さくなり、pが0.5のときに最大になるわけではありません。