本節主要了解一下sklearn.metrics下計算準確率、精確率、召回率和F1值的函式以及對於多分類問題計算時的理解

1、sklearn.metrics.accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)
normalize：bool型值，預設為True；如果為False，則表示正確分類的樣本數

2、klearn.metrics.recall_score(y_true, y_pred, labels=None, pos_label=1,average=’binary’, sample_weight=None)
     klearn.metrics.precision_score(y_true, y_pred, labels=None, pos_label=1,average=’binary’, sample_weight=None) 
     klearn.metrics.f1_score(y_true, y_pred, labels=None, pos_label=1,average=’binary’, sample_weight=None) 
labels：

多類問題時候的標籤集，可以去掉一些存在的標籤，比如忽略掉多數負樣例的多類平均值。
pos_label：str或int。如果是二分類，用於指定的類(0或1)；如果是多分類或多標籤，通常會忽略，但如果設定pos_label=關心的類和average!=‘binary’時，則返回該標籤的分數。
average : string, [None, ‘binary’ (default), ‘micro’, ‘macro’, ‘samples’, ‘weighted’]
                 當應用於多類或多標籤問題時，需要設定這些引數
                1）預設值為binary，計算指定的pos_label的結果，用於二分類問題
                2）None：返回每個類的分數
                3）micro：微平均---通過計算總的TP、FN和FP來計算指標（常用）
                4）macro：巨集平均---通過計算各個類的TP、FN和FP然後求平均來計算指標（不會考慮標籤的不平衡性）
                5）weighted：加權平均---按每個標籤的真實例項數來加權（考慮標籤不平衡問題，同時它可能導致F不在P和R之間）
                5）samples：計算每個例項的指標，並找出它們的平均值（僅對多標籤分類有意義）
返回值：如果average=None，返回一個float型的陣列，長度為標籤數目；否則返回一個float值

3、sklearn.metrics.fbeta_score(y_true, y_pred, beta, labels=None, pos_label=1, average=’binary’, sample_weight=None)
sklearn.metrics.precision_recall_fscore_support

(y_true, y_pred, beta=1.0, labels=None, pos_label=1, average=None, sample_weight=None)
比其它多了一個beta引數，主要用於調節P和R的重要性，預設為1，代表P和R同等重要。

下面看程式碼實現：

from sklearn.metrics import accuracy_score,recall_score,precision_score,f1_score,precision_recall_fscore_support

y_true = [0, 1, 2, 1, 1, 1, 2, 2]
y_pred = [0, 2, 1, 1, 0, 1, 2, 1]
print(accuracy_score(y_true, y_pred)) #0.5
print(accuracy_score(y_true, y_pred,normalize=False)) #4
#1)average=None計算每個類的分數
print(precision_score(y_true, y_pred, average=None)) 
print(recall_score(y_true, y_pred, average=None)) 
print(f1_score(y_true, y_pred, average=None)) 
print(fbeta_score(y_true, y_pred, beta=0.5,average='macro')) 
print(precision_recall_fscore_support(y_true, y_pred, average=None))
print(precision_recall_fscore_support(y_true, y_pred, beta=0.5,average='macro')) 

結果如下：
1）None：[ 0.5  0.5  0.5]                                          #1/2   2/4  1/2
                  [ 1.          0.5         0.33333333]               #1/1   2/4  1/3
                  [ 0.66666667  0.5         0.4       ]             
                 (array([ 0.5,  0.5,  0.5]), array([ 1.        ,  0.5       ,  0.33333333]), array([ 0.66666667,  0.5       ,  0.4       ]), array([1, 4, 3], dtype=int64))
2）‘micro’：0.5                                                         #4/8
                   0.5                                                         #4/8
                   0.5                                                         #2*0.5*0.5/(0.5+0.5)
                   (0.5, 0.5, 0.5, None)

3）'macro'：0.5                                                       #(1/2+2/4+1/2)/3
                    0.611111111111                                  #(1/1+2/4+1/3)/3
                    0.522222222222                                  #[(2*0.5*1/1.5)+(2*0.5*0.5/1)+(2*0.5*0.3/0.8)]/3
                    (0.5, 0.61111111111111105, 0.50336700336700335, None)    
                    (0.5, 0.61111111111111105, 0.52222222222222214, None)
                    (0.5, 0.61111111111111105, 0.50336700336700335, None)    
                    #F1=[(1.25*0.5*1/(0.25*0.5+1))+(1.25*0.5*0.5/(0.25*0.5+0.5))+(1.25*0.5*0.3)/(0.25*0.5+0.3)]/3

4）'weighted'：0.5                                                   #[(1/2*1)+(2/4*4)+(1/2*3)]/8
                        0.5                                                    #[(1/1*1)+(2/4*4)+(1/3*3)]/8
                        0.483333333333                              #[(2*0.5*1/1.5)*1+(2*0.5*0.5/1)*4+(2*0.5*0.3/0.8)*3]/8
                       (0.5, 0.5, 0.48333333333333334, None)    

5）'samples' ：主要解決多標籤問題，這部分有時間再補充！

對多類問題，可能需要去除'Negative Class';同理，在做巨集平均運算時，即使有些標籤在樣本中並不存在，但還是要參與計算。

y_true = [0, 1, 2, 1, 1, 1, 2, 2, 3]
y_pred = [0, 2, 1, 1, 0, 1, 2, 1, 0]
print(recall_score(y_true, y_pred, labels=[1, 2, 3], average='micro'))
print(precision_score(y_true, y_pred, labels=[0, 1, 2, 3], average='macro'))

結果為：0.375                     #3/8
              0.333333333333   #(1/3+2/4+1/2)/4