てきごうりつとさいげんりつ
2クラス分類のモデルの評価指標。適合率(precision)は陽性と予測したもののうち実際に陽性だった割合 TP ÷ (TP + FP)、再現率(recall)は実際に陽性のもののうち陽性と予測できた割合 TP ÷ (TP + FN) である。一般に、判定のしきい値を変えると、一方が上がれば他方が下がる関係にある。両者の調和平均 2PR ÷ (P + R) をF値(F1スコア)と呼ぶ。
「適合率と再現率」は、1分野の4問の練習問題に出てきます(機械学習の基礎など)。
この用語の分野: 機械学習の基礎
実際に陽性のデータが100件あり、モデルが40件を陽性と判定して、そのうち30件が本当に陽性だったとします。適合率は 30 ÷ 40 = 0.75、再現率は 30 ÷ 100 = 0.3 です。F値は 2 × 0.75 × 0.3 ÷ (0.75 + 0.3) ≈ 0.43 で、算術平均の約0.53より低くなります。調和平均は小さい方の値に引っ張られるので、片方だけが高いモデルはF値では高く評価されません。
多くの分類のモデルは陽性らしさをスコアで出力し、しきい値を超えたものを陽性と判定します。しきい値を上げると、自信のあるものだけを陽性とするので適合率は上がりやすく、見逃しが増えて再現率は下がります。しきい値を下げると逆になります。しきい値を動かしながら適合率と再現率の関係を描いたものをPR曲線と呼び、真陽性率と偽陽性率の関係を描いたROC曲線とともに、モデルの比較に使います。
見逃しが大きな損失になる病気の検査や不良品の検出では、再現率を重視します。誤って陽性とすることの損失が大きい場合、例えば必要なメールを誤ってスパムとして隔離してしまう迷惑メールのフィルタでは、適合率を重視します。目的に応じて、両者に重みを付けたFβ値を使うこともあります。陽性がごく少ない不均衡データでは、正解率よりもこれらの指標の方が性能をよく表します。
正解：C. 適合率0.90、再現率0.50
適合率(precision)は、陽性と予測したもののうち実際に陽性だった割合で、TP ÷ (TP + FP) = 45 ÷ 50 = 0.90です。再現率(recall)は、実際に陽性のもののうち陽性と予測できた割合で、TP ÷ (TP + FN) = 45 ÷ 90 = 0.50です。このモデルは、陽性と判定したものはほぼ正しいものの、陽性の半分を見逃しています。正解率は (45 + 105) ÷ 200 = 0.75です。
正解率は、全体のうち予測が当たった割合 (TP + TN) ÷ 全体 です。陽性が1%しかないデータでは、すべてを陰性と予測するだけで正解率は99%になりますが、再現率は0になるので、陽性をまったく見つけられていないことが分かります。
日本語の「精度」は、正解率(accuracy)の意味で使われることも、適合率(precision)の意味で使われることもあるので注意が必要です。英語の precision を指すときは「適合率」、accuracy を指すときは「正解率」と呼び分けると、誤解を防げます。
適合率(precision)は、陽性と予測したもののうち実際に陽性だった割合で、TP ÷ (TP + FP) = 45 ÷ 50 = 0.90です。
2クラス分類のモデルを200件のテストデータで評価した混同行列で、真陽性(TP)が45件、偽陽性(FP)が5件、偽陰性…まず、適合率は 20 ÷ (20 + 5) = 0.8、再現率は 20 ÷ (20 + 30) = 0.4です。
2クラス分類のモデルを200件のテストデータで評価したところ、TPが20件、FPが5件、FNが30件、TNが145件だ…しきい値を決める前のモデルの見分ける力を比べられますが、陽性がごく少ないデータでは、適合率と再現率の関係を描いたPR曲線の方が違いが分かりやすいこともあります。
2クラス分類のモデルの評価に使うROC曲線とAUCの説明として、適切なものはどれか。一方、陽性を1件も見つけられないので再現率は0%で、病気や不正の検出のように陽性を見つけることが目的なら役に立ちません。
1000件のうち陽性が10件しかないデータに対して、すべてを陰性と予測するモデルの正解率はどれか。Amazonの検索結果へのリンクです。Amazonのアソシエイトとして、半導体教室は適格販売により収入を得ています。