有許多指標可用來衡量模型的性能，具體取決于您要進行的機器學習的類型。 在本文中，我們將研究分類和回歸模型的性能指標，并討論哪種指標可以進行更好的優化。 有時要看的指標會根據最初要解決的問題而有所不同。

機器學習指標的示例

分類問題的優化

分類表示例

1.真實肯定(召回)

真實肯定率(也稱為召回率)是二進制/非二進制分類問題中的首選性能指標。 在大多數情況下(即使不是所有時間)，我們只對正確預測一個類感興趣。 例如，如果您正在預測糖尿病，則比起預測此人沒有糖尿病，您將更關心預測此人是否患有糖尿病。 在這種情況下，陽性類別為"此人患有糖尿病"，陰性類別為"此人未患有糖尿病"。 這只是預測肯定類別的準確性(這不是準確性性能指標。有關更多詳細信息，請參見下面的數字4)

2. ROC曲線(接收機工作特性曲線)

ROC曲線顯示分類模型在不同閾值(分類到特定類的可能性)下的性能。 它繪制了真假陽性率和假陽性率。 降低閾值將增加您的真實肯定率，但會犧牲您的錯誤肯定率，反之亦然。

3. AUC(曲線下面積)

AUC也稱為" ROC曲線下的面積"。 簡單地說，AUC會告訴您正確分類的可能性。 較高的AUC代表更好的模型。

4.準確性

默認情況下，精度是第一要注意的事情。 但是，真正的數據科學家知道準確性太誤導了。 一種更好的稱呼方法是預測所有類別的平均準確性。 就像我在True True Rate中提到的那樣，它是最理想的指標。 準確度將取"真正值"和"真負值"之和的平均值。 在不平衡分類問題中，大多數情況下，否定類比肯定類的代表更多，因此您更有可能具有很高的真實否定率。 然后，準確度將偏向負面類別的準確預測，這可能不會引起任何人的興趣。

機器學習中的回歸優化

回歸圖示例

5.錯誤

該錯誤通常會在R旁邊被忽略，它告訴我們更多有關擬合值相對于回歸線(即擬合值與優秀擬合線之間的平均距離)的精度的信息。 在計算模型的置信度和預測間隔時，這一點尤為重要。 由于使用響應變量的自然單位，因此更易于解釋，而R沒有單位，并且僅在0到1之間。

誤差有不同類型，例如"均值絕對誤差"和"均方根誤差"。每種誤差都有其優缺點，必須單獨對待以評估模型。

6. R2

現在，盡管"標準誤差"很重要，但R已成為良好回歸模型的實際度量。 它告訴我們模型解釋了因變量和自變量之間的差異。 較高的R會給出更好的模型，但是，如果過高(接近99%)有時會導致過度擬合的風險。 由于相關性與因果關系的爭論可能會給R帶來不合邏輯的高R，因此R可能會產生誤導。

用戶的目標會影響模型的性能，因此請謹慎選擇

精度并非始終是分類問題中的優秀度量，R對于回歸而言可能并非最佳。 無疑，它們都是最容易理解的，尤其是對于非技術利益相關者而言(這也許是首先構建模型的較大原因)。 比較好的方法可能是考慮各種性能指標并考慮您的初始目標。 模型的性能始終取決于用戶的目標。 從一個人的角度來看，表現不佳對于另一個人而言可能并非如此。