機器學習(周志華) 參考答案 第二章 模型評估與選擇

機器學習(周志華西瓜書) 參考答案 總目錄

1.資料集包含1000個樣本，其中500個正例，500個反例，將其劃分為包含70%樣本的訓練集和30%樣本的測試集用於留出法評估，試估算共有多少種劃分方式。

一個組合問題，從500正反例中分別選出150正反例用於留出法評估，所以可能取法應該是(C150500)2種。

2.資料集包含100個樣本，其中正反例各一半，假定學習演算法所產生的模型是將新樣本預測為訓練樣本數較多的類別（訓練樣本數相同時進行隨機猜測），試給出用10折交叉驗證法和留一法分別對錯誤率進行評估所得的結果。

10折交叉檢驗：由於每次訓練樣本中正反例數目一樣，所以講結果判斷為正反例的概率也是一樣的，所以錯誤率的期望是50

%。
留一法：如果留下的是正例，訓練樣本中反例的數目比正例多一個，所以留出的樣本會被判斷是反例；同理，留出的是反例，則會被判斷成正例，所以錯誤率是100%。

3.若學習器A的F1值比學習器B高，試析A的BEP值是否也比B高。

F1值的大小與BEP值並沒有明確的關係。
兩個分類器的F1值得大小與他們的BEP值大小並沒有明確的關係(沒去找)
這道題這裡用反推，設計兩個BEP值相同的分類器，如果他們的F1值不一樣，那麼這道題的結論就是否定的
再加點我看了評論後的疑惑：
BEP值就是F1值嗎？
BEP值是在P=R時取到的，也就是BEP=P=R。如果在計算F時也要定義P=R，那麼F1

和Fβ將會恆等於BEP，那麼P,R,F在這裡有什麼意義呢？
這裡分兩種情況：
第一就是我的理解，在計算F1時就是按照分類器真實的分類結果來計算P,R，再根據PR計算F1。當這個分類器正好P=R時，有P=R=BEP=F1。否則BEP的計算不能用當前的PR，而是通過一步一步嘗試到查準率=查全率時，P’=R’=BEP。
第二種就是不存在我下面假設的分類器，分類器始終會在P=R的位置進行截斷(截斷指的是分類器將所有樣本按分為正例的可能性排序後，選擇某個位置。這個位置前面分類為正，後面分類為負)。但是這個可能嗎？這種情況下F1=Fβ=BEP恆成立，分類器的評價本質將會變成了樣本的正例可能性排序，而不是最終的樣本劃分結果。

分類器將所有訓練樣本按自己認為是正例的概率排序，排在越前面分類器更可能將它判斷為正例。按順序逐個把樣本標記為正，當查準率與查全率相等時，BEP=查準率=查全率。當然分類器的真實輸出是在這個序列中的選擇一個位置，前面的標記為正，後面的標記為負，這時的查準率與查全率用來計算F1值。可以看出有同樣的BEP值的兩個分類器在不同位置截斷可能有不同的F1值，所以F1值高不一定BEP值也高。
比如：

1/+	2/+	3/+	4/+	5/+	6/-	7/-	8/-	9/-	10/-
1/+	2/+	3/+	4/+	6/-	5/-	7/-	8/-	9/-	10/-
1/+	2/+	3/+	4/+	6/+	5/-	7/-	8/-	9/-	10/-

第一行是真實的測試樣本編號與分類，第二三行是兩個分類器對所有樣本按為正例可能性的排序，以及判斷的結果。顯然兩個分類器有相同的BEP值，但是他們的F1值一個是0.89，一個是0.8。

4.試述真正例率（TPR）、假正例率（FPR）與查準率（P）、查全率（R）之間的聯絡。

查全率: 真實正例被預測為正例的比例
真正例率: 真實正例被預測為正例的比例
顯然查全率與真正例率是相等的。
查準率:預測為正例的例項中真實正例的比例
假正例率: 真實反例被預測為正例的比例
兩者並沒有直接的數值關係。

5.試證明(2.22)AUC=1−lrank

從書34頁b圖看來，AUC的公式不應該寫的這麼複雜，後來才發現原來這個圖並沒有正例反例預測值相等的情況。當出現這種情況時，ROC曲線會呈斜線上升，而不是這種只有水平和垂直兩種情況。

由於一開始做題時並沒有想過ROC曲線不可以是斜線，所以畫了這張圖，如果不存在正例反例預測值相等的情況，那麼斜線也沒必要存在。
但是在維基百科上看到一副圖，貌似也存在斜線的ROC，但是不知道含義是否和我這裡寫的一樣。
https://en.wikipedia.org/wiki/Receiver_operating_characteristic
引用一幅有斜線的ROC曲線

與BEP一樣，學習器先將所有測試樣本按預測概率排序，越可能是正的排在越前面。然後依次遍歷，每掃描到一個位置，裡面如果只有正例，則ROC曲線垂直向上，如果只有反例，曲線水平往右，如果既有正例也有反例，則斜向上。如圖所示

由於TPR與FPR的分母是常數，所以這裡按比例擴大了座標(分別是真實正例和真實反例的數目倍)，可以更好看出曲線走勢。

可以看出一共有20個測試樣本，10個正，10個反。學習器排序的結果是
+,−,(+,+),(+,−),(+,−),(+,+),(−,−),(+,+),(−,−,−),+,−。其中括號內的樣本排在相同的位置。
<(+,+,−,−)與(+,−),(+,−)是同樣的效果>

公式2.21累加了所有不在正例的反例數目，其中同樣的位置標記為0.5，在正例前面標記為1。從圖中可以看出，折線每次向右(右上)延伸，表示掃描到了反例，折線上方對應的面積，就是該反例後面有多少個正例，每個正例是一個正方形，對應的面積是1。同位置上的正例是個三角形，對應的面積是0.5。計算出總面積後，由於ROC圖的座標是歸一化的，所以總面積要除以一開始放大的倍數，也就是m+m−。

6.試述錯誤率與ROC曲線之間的關係

ROC曲線每個點對應了一個TPR與FPR，此時對應了一個錯誤率。
Ecost=(m+∗(1−TPR)∗cost01+m−∗FPR∗cost10)/(m++m−)
學習器會選擇錯誤率最小的位置作為截斷點。

7.試證明任意一條ROC曲線都有一條代價曲線與之對應，反之亦然。

由定義可以知道TPR與FPR都是由0上升到1，那麼FNR則是由1下降到0。
每條ROC曲線都會對應一條代價曲線，由於第一條代價線段的是(0,0),(1,1)，最後是(0,1)(1,0),
所有代價線段總會有一塊公共區域，這個區域就是期望總體代價，而這塊區域的邊界就是代價曲線，且肯定從(0,0)到(1,0)。
在有限個樣本情況下，ROC是一條折線，此時根據代價曲線無法還原ROC曲線。但若是理論上有無限個樣本，ROC是一條連續的折線，代價曲線也是連續的折線，每個點的切線可以求出TPR與FNR，從而得到唯一的ROC曲線。

8.Min-Max規範化與z-score規範化如下所示。試析二者的優缺點。

Min−max規範化方法簡單，而且保證規範化後所有元素都是正的，每當有新的元素進來，只有在該元素大於最大值或者小於最小值時才要重新計算全部元素。但是若存在一個極大(小)的元素，會導致其他元素變的非常小(大)。
z−score標準化對個別極端元素不敏感，且把所有元素分佈在0的周圍，一般情況下元素越多，0周圍區間會分佈大部分的元素，每當有新的元素進來，都要重新計算方差與均值。

9.試述卡方檢驗過程。

略(……)

10.試述在使用Friedman檢驗中使用式(2.34)與(2.35)的區別

書上說Friedman檢驗，在Nk比較大時，平均序值ri近似於正態分佈，均值為k+12,
方差為k2−112（其實我覺得ri的方差是k2−112N）。

即：ri~N(k+12,k2−112)

所以12Nk2−1(ri−k+12)2~χ2(1)

統計量12Nk2−1∑k(ri−k+12)2由於k個演算法的平均序值ri是有關聯的，知道其中k−1個就能推出最後一個，所以自由度為k−1,在前面乘上k−1k，最終得到Friedman統計量為
fri=k−1k∗12Nk2−1∑k(ri−k+12)2

猜測:由於Friedman統計量只考慮了不同演算法間的影響，而沒去考慮不同資料集(其他方差)所帶來的影響，所以書上說這個Friedman統計量太保守。
對序值表做方差分析:
總方差SST=N∗(E(X2)−(EX)2)=N∗k∗(k2−1)/12自由度N∗(k−1)
演算法間方差SSA=N∗∑k(ri−k+12)2 自由度

相關推薦