機器學習基礎
設模型對正確類別輸出的機率為p時，下列關於分類訓練所用之交叉熵損失 −log p 性質的敘述，何者適當？
- Ap越接近1，損失越接近0；p越接近0，損失急遽變大
- B不論p的值為何，損失都與正確答案與預測之差的平方成正比
- Cp為0.5時損失最大，p越接近0或1，損失越小
查看答案與解析
正確答案：A. p越接近1，損失越接近0；p越接近0，損失急遽變大
交叉熵損失在分配給正確類別的機率p為1時為 −log 1 = 0，p越小則越大，p趨近0時會無限變大。以自然對數計算，p = 0.5 時約為0.69，p = 0.1 時約為2.3。由於會對有把握卻預測錯誤的情形給予很大的懲罰，常用於以softmax函數或S型函數輸出機率的分類模型。使用誤差平方的均方誤差，主要用於預測連續值的迴歸。
- A. 正確。p為1時損失為0，p越接近0損失越大。
- B. 使用差的平方的是均方誤差。
- C. p越大損失越小，並不是在p為0.5時最大。