什麼是精確率與召回率(Precision and recall)

二元分類模型的評估指標。精確率(precision)是預測為陽性者中實際為陽性的比例 TP ÷ (TP + FP),召回率(recall)是實際為陽性者中被預測為陽性的比例 TP ÷ (TP + FN)。一般而言,改變判定的閾值時,一方上升另一方就會下降。兩者的調和平均 2PR ÷ (P + R) 稱為F1分數。

日文名稱: 適合率と再現率

「精確率與召回率(Precision and recall)」出現在1領域的4道練習題中(機器學習基礎等)。

這個名詞所屬的領域: 機器學習基礎

計算範例

假設實際為陽性的資料有100筆,模型將40筆判為陽性,其中30筆真的是陽性。精確率為 30 ÷ 40 = 0.75,召回率為 30 ÷ 100 = 0.3。F1分數為 2 × 0.75 × 0.3 ÷ (0.75 + 0.3) ≈ 0.43,低於算術平均的約0.53。調和平均會被較小的值拉低,因此只有其中一方高的模型,在F1分數上不會得到高評價。

與閾值的取捨

許多分類模型會以分數輸出像陽性的程度,並將超過閾值者判為陽性。提高閾值時,只有把握較高者才判為陽性,因此精確率容易上升,但漏判增加,召回率下降。降低閾值則相反。一邊移動閾值一邊畫出精確率與召回率關係的曲線稱為PR曲線,與畫出真陽性率與偽陽性率關係的ROC曲線一樣,用於比較模型。

該重視哪一個

在漏判會造成重大損失的疾病檢查或不良品偵測中,重視召回率。誤判為陽性的損失較大時,例如可能把重要郵件誤當成垃圾郵件隔離的垃圾郵件過濾器,則重視精確率。也可依目的使用對兩者加權的Fβ分數。在陽性極少的不平衡資料中,這些指標比準確率更能反映性能。

練習精確率與召回率(Precision and recall)的題目

以200筆測試資料評估某個二元分類模型,其混淆矩陣為真陽性(TP)45筆、偽陽性(FP)5筆、偽陰性(FN)45筆、真陰性(TN)105筆。精確率與召回率的組合,何者正確?

  1. A精確率0.50,召回率0.90
  2. B精確率0.75,召回率0.50
  3. C精確率0.90,召回率0.50
查看答案與解析

正確答案:C. 精確率0.90,召回率0.50

精確率(precision)是預測為陽性者中實際為陽性的比例,TP ÷ (TP + FP) = 45 ÷ 50 = 0.90。召回率(recall)是實際為陽性者中被預測為陽性的比例,TP ÷ (TP + FN) = 45 ÷ 90 = 0.50。這個模型判為陽性者幾乎都正確,但漏掉了一半的陽性。準確率為 (45 + 105) ÷ 200 = 0.75。

以200筆測試資料評估某個二元分類模型,結果為TP 20筆、FP 5筆、FN 30筆、TN 145筆。F1分數最接近下列何者?

  1. A0.40
  2. B0.53
  3. C0.60
查看答案與解析

正確答案:B. 0.53

首先,精確率為 20 ÷ (20 + 5) = 0.8,召回率為 20 ÷ (20 + 30) = 0.4。F1分數是精確率與召回率的調和平均,2 × 0.8 × 0.4 ÷ (0.8 + 0.4) = 0.64 ÷ 1.2 ≈ 0.53。調和平均會被較小的值拉低,因此只有其中一方高時,F1分數不會高。另外,準確率為 (20 + 145) ÷ 200 = 0.825,看起來很高,但這個模型漏掉了六成的陽性。

常見問題

與準確率(accuracy)有何不同?

準確率是全部預測中預測正確的比例 (TP + TN) ÷ 全體。在陽性只占1%的資料中,只要全部預測為陰性,準確率就有99%,但召回率為0,可知完全沒有找出陽性。

「準確率」與「精確率」是同一個意思嗎?

不是。日常用語中兩者常被混用,但在分類中,準確率是所有預測中正確的比例,精確率是預測為陽性者中正確的比例。在量測領域,precision(精密度)又是另一個意思,指重複量測結果彼此一致的程度。

解析中的「精確率與召回率(Precision and recall)」

出現「精確率與召回率(Precision and recall)」的題目(4題)

  1. 以200筆測試資料評估某個二元分類模型,其混淆矩陣為真陽性(TP)45筆、偽陽性(FP)5筆、偽陰性(FN)45筆、真陰性(TN)105筆。精確率與召回率的組合,何者正確?
  2. 以200筆測試資料評估某個二元分類模型,結果為TP 20筆、FP 5筆、FN 30筆、TN 145筆。F1分數最接近下列何者?
  3. 下列關於評估二元分類模型所用之ROC曲線與AUC的敘述,何者適當?
  4. 對於1000筆中只有10筆陽性的資料,將全部預測為陰性之模型的準確率為何者?

半導體、電子電路與資訊計算工具

相關名詞

混淆矩陣(Confusion matrix) 調和平均數(Harmonic mean) 主成分分析(PCA) 正規化(Regularization) 交叉驗證(Cross-validation) 卷積神經網路(CNN) 非監督式學習(Unsupervised learning) 強化學習(Reinforcement learning) 啟動函數(Activation function) 梯度下降法(Gradient descent)

前往名詞解釋列表