機械学習の基礎
2クラス分類のモデルの評価に使うROC曲線とAUCの説明として、適切なものはどれか。
- A判定のしきい値を変えながら、横軸に偽陽性率、縦軸に真陽性率をとって描いた曲線で、その下の面積(AUC)が1に近いほど陽性と陰性をよく見分けられる
- Bしきい値を1つに固定したときの正解率を、学習の回数(エポック)ごとに並べて描いた曲線で、AUCはその曲線の最大値を表し、大きいほど学習が速い
- CAUCが0.5のモデルは、陽性と陰性を半分以上の確率で正しく見分けられるので、実用上十分な性能のモデルといえる
答えと解説を見る
正解：A. 判定のしきい値を変えながら、横軸に偽陽性率、縦軸に真陽性率をとって描いた曲線で、その下の面積(AUC)が1に近いほど陽性と陰性をよく見分けられる
ROC曲線は、モデルが出力するスコアに対して陽性と判定するしきい値を動かしながら、偽陽性率 FP ÷ (FP + TN) を横軸、真陽性率 TP ÷ (TP + FN) を縦軸にとって描いた曲線です。AUCは曲線の下の面積で、ランダムに選んだ陽性の例のスコアが、ランダムに選んだ陰性の例のスコアより高くなる確率に等しくなります。完全に見分けられるモデルではAUCが1、でたらめに判定するモデルでは0.5です。しきい値を決める前のモデルの見分ける力を比べられますが、陽性がごく少ないデータでは、適合率と再現率の関係を描いたPR曲線の方が違いが分かりやすいこともあります。
- A. 正しい。しきい値を変えたときの真陽性率と偽陽性率の関係を表し、AUCが1に近いほど見分ける力が高いモデルです。
- B. 学習の経過を表すのは学習曲線です。ROC曲線は、しきい値を変えたときの真陽性率と偽陽性率の関係を表します。
- C. AUCが0.5は、でたらめに判定するのと同じで、見分ける力がないことを表します。