1. 程式人生 > >機器學習十一 評估指標

機器學習十一 評估指標

評估指標(Evaluation Metrics)

選擇合適的指標

在構建機器學習模型的時候,首先要選擇效能指標,然後測試模型的表現如何。

相關的指標有多個,具體取決於我們要解決的問題。

在可以選擇效能指標之前,首先要認識到機器學習研究的是如何學習根據資料進行預測。

在測試模型時,也務必要將資料集分解為訓練資料和測試資料。

如果不區分訓練資料集和測試資料集,則在評估模型時會遇到問題,因為它已經看到了所有資料。

我們需要的是獨立的資料集,以確認模型可以很好地泛化,而不只是泛化到訓練樣本。

分類與迴歸
分類 迴歸
涉及物件 根據未見過的樣本進行預測,並確定新例項屬於哪個類別。 根據連續資料進行預測
例子 根據藍色或紅色或者方形或圓形來組織物件,以便在看到新物件時根據其特徵來組織物件 包含不同人員的身高、年齡和性別的列表,並想預測他們的體重

分類指標與迴歸指標
分類指標 迴歸指標
瞭解模型隔多久正確或不正確地識別新樣本一次 瞭解模型的預測值與實際值之間差多少
處理物件:根據離散資料進行預測的模型 處理物件:根據連續資料進行預測的模型
此類模型確定新例項是否屬於給定的一組類別 此類模型關注的是預測的接近度
指標用於測量預測是否準確地將所討論的例項進行分類 指標用於關心模型如何能始終進行接近的預測

分類指標:混淆矩陣,準確率與召回率,F1分數。

迴歸指標:誤差指標:平均絕對誤差,均方差;

                    分數指標:R2分數(迴歸學習器預設的分數方法)、可釋方差分數。

                                        分數越高越好,0表示壞,1表示好。