Stanford機器學習---第七講 機器學習系統設計
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow
也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
本欄目（Machine learning）包括單引數的線性迴歸、多引數的線性迴歸、Octave Tutorial、Logistic Regression、Regularization、神經網路、機器學習系統設計、SVM（Support Vector Machines 支援向量機）、聚類、降維、異常檢測、大規模機器學習等章節。所有內容均來自Standford公開課machine learning中Andrew老師的講解。（
第七講. 機器學習系統設計——Machine learning System Design
===============================
（一）、決定基本策略
（二）、Error分析
☆（三）、對Skewed Classes建立Error Metrics
☆（四）、在Precision 和 Recall (精度和召回率)間權衡
（五）、機器學習資料選定
===============================
（一）、決定基本策略
在本章中，我們用一個實際例子<怎樣進行垃圾郵件Spam的分類>來描述機器學習系統設計方法。
首先我們來看兩封郵件，左邊是一封垃圾郵件Spam，右邊是一封非垃圾郵件Non-Spam：
觀察其樣式可以發現，垃圾郵件有很多features，那麼我們想要建立一個Spam分類器，就要進行有監督學習，將Spam的features提取出來，而希望這些features能夠很好的區分Spam vs. Non-Spam.
就如下圖所示，我們提取出來deal, buy, discount, now等feature，建立起這樣的一個feature向量：
這裡請大家注意：事實上，對於spam分類器，我們並非人工選擇100個看似是spam feature的feature作為特徵，而是選取spam中詞頻最高的100個詞取而代之
下面就是本節重點——如何決定基本策略，一些可能有利於classifier工作的方法：
- 收集大量資料——如“honeypot" project
- 從Email Route著手建立較為複雜的feature——如發件人為[email protected]
- 對message正文建立複雜精確的feature庫——如是否應把discount和discounts視作同一個詞等
- 建立演算法檢查拼寫錯誤，作為feature——如"med1cine"
當然，上述策略並非全部奏效，如下面的練習題所示：
===============================
（二）、Error分析
我們常常在一個ML演算法設計的起步階段有些困惑，要用怎樣的系統？建立怎樣的模型，feature怎樣提取等……
這裡呢，我們給大家推薦一個方法，用來建立一個ML系統：
- 用at most 一天，24小時的時間實現一個簡單的演算法，logistic regression也好，linear regression也好，用simple features而非仔細探究哪個特徵更有效。然後呢，在cross-validation資料集上進行測試；
- 利用畫learning curves的方法去探究，資料集更多 或者 加入更多features 是否有利於系統工作；
- Error Analysis：上面已經在cross-validation資料集上測試了系統性能，現在呢，我們人工去看是哪些資料造成了大error的產生？是否可以通過改變systematic trend減少error？
還是用Spam-Classifier舉例，我們看一下進行Error Analysis的步驟：
- 在建立了simple system 並在CV set上做測試後，我們進行error analysis步驟，將所有spam分為pharma，replica/fake，Steal password 和 其他，這四類。
- 找到一些可能有助於改善分類效果的features。
這裡呢，我們不要感性地去想，而是最好用數字體現效果。比如對於discount/discounts/discounted/discounting是否被視為都含有discount這個feature的問題，我們不要主觀地去想，而是看如果看都含有這個feature，那麼結果是有3%的error，如果不都看做有discount這個feature，則有5%的error，由此可見哪種方法比較好。
PS：介紹一個軟體Porter stemmer，可以google到，是將discount/discounts/discounted/discounting視為同類的軟體。
對於是否將大小寫視作同一個feature是同樣的道理。
===============================
（三）、對Skewed Classes建立Error Metrics
有些情況下，Classification-accuracy 和 Classification-error不能描述出整個系統的優劣，比如針對下面的Skewed Classes。
什麼是Skewed Classes呢？一個分類問題，如果結果僅有兩類y=0和y=1,而且其中一類樣本非常多，另一類非常少，我們稱這種分類問題中的類為Skewed Classes.
比如下面這個問題：
我們用一個logistic regression作為預測samples是否為cancer患者的模型。該模型在cross-validation set上測試的結果顯示，有1%的error，99%的正確診斷率。而事實上呢，只有0.5%的樣本為真正的cancer患者。這樣一來，我們建立另一個演算法去predict：
function y=predictCancer(x)
y=0; %即忽略x中feature的影響
return;
好了，這麼一來，該演算法將所有sample預測為非癌症患者。那麼只存在0.5%的誤差，單純從classification-error來看，比我們之前做的logistic regression要強，可事實上我們清楚這種cheat方法只是trick，不能用作實際使用。因此，我們引入了Error Metrics這個概念。
考慮一個二分問題，即將例項分成正類（positive）或負類（negative）。對一個二分問題來說，會出現四種情況。如果一個例項是正類並且也被 預測成正類，即為真正類（True positive）,如果例項是負類被預測成正類，稱之為假正類（False positive）。相應地，如果例項是負類被預測成負類，稱之為真負類（True negative）,正類被預測成負類則為假負類（false negative）。
這樣就可以建立一個Error Metrics（下圖左），並定義precision和recall，如下圖所示：
也可參考我原來關於ROC曲線的文章。
precision：正確預測正樣本/我所有預測為正樣本的；
recall：正確預測正樣本/真實值為正樣本的；
當且僅當Precision和Recall都高的時候我們可以確信，該predict演算法work well !
ok, 我們再來看看當初將所有sample預測為Non-Cancer的演算法，這裡，TP=0，FP=0, FN=1, TN=199（假設sample共200個）
由於TP=0, 所以precision=recall=0！證明了該演算法的un-avaliable！
所以，無論一個類是否是Skewed Classes，只要滿足precision 和 recall都很高才可以保證該演算法的實用性。
練習題，做下看：
最後需要提醒大家的是，關於哪邊作為true,哪邊作為false的問題。對於上面那個問題，我們給定cancer的為true，實際應用中，我們應當在binary classification中指定類中sample較少的那一類作為true,另一類作為false。這一點千萬不能搞錯！
===============================
（四）、在Precision 和 Recall (精度和召回率)間權衡
對於一個prediction問題，假設我們採用如下方法進行預測：
這裡存在一個threshold=0.5。
根據
不同的threshold有如下兩類情況：
- 如果我們希望在很確信的情況下才告訴病人有cancer，也就是說不要給病人太多驚嚇，我告訴你有cancer，你肯定有cancer；我告訴你沒cancer，你也有可能有cancer，那麼該情況下有：higher threshold，higher precision，lower recall
- 如果我們不希望讓病人錯過提前治療，與上例相反，就有：lower threshold，lower precision，higher recall
這裡大家如果想不清楚可以把error metrics畫出來看一下。
那麼我們可以畫出來precision-recall圖：
不同的資料，其曲線形式不同，但有一條規律是不變的：
thres高對應高precision低recall；
thres低對應低precision高recall；
☆那麼在不同演算法或不同threshold造成的的{precision，recall}間，我們怎樣選擇那個演算法比較好呢？
加入我們現在有三個演算法（或threshold）的資料：
可見，Algorithm3中，recall=1，即predict所有y=1，這顯然違背了我們的初衷。下面看評判標準。用p表示precision，r表示recall；
如果我們選取評判標準=(p+r)/2，則algorithm3勝出，顯然不合理。這裡我們介紹一個評價標準：F1-Score.
當p=0 或 r=0時，有f=0;
當p=1&&r=1時，有f=1，最大；
同樣我們將f1 score 應用於以上三個演算法，可的結果，algorithm1最大，也就是最好；algorithm3最小，也就是最差。因此我們用F1 score來衡量一個演算法的效能，也就是我們說的precision和recall間的trade-off。
練習，做下吧~（這道略弱）：
===============================
（五）、機器學習資料選定
對於機器學習，我們可以選擇很多不同的algorithems進行prediction，如：
可見，隨著training set的上升，accuracy一般會得到提高，但事實上也不全是這樣。
比如房價預測，如果我僅僅給你房子的面積，而沒有房子在市中心還是偏遠地區？房齡多少？等資訊，我們是無法進行良好預測的。
這裡就涉及到如何合理處理訓練資料及的問題。
記得上一講中我們已經介紹過了bias和variance的定義和區別，這裡我們來看，他們的產生環境：
bias：J(train)大，J(cv)大，J(train)≈J(cv)，bias產生於d小，underfit階段；
variance：J(train)小，J(cv)大，J(train)<<J(cv)，variance產生於d大，overfit階段；
- 想要保證bias小，就要保證有足夠多的feature，即linear/logistics regression中有很多parameters，neuron networks中應該有很多hidden layer neurons.
- 想要保證variance小，就要保證不產生overfit，那麼就需要很多data set。這裡需要J(train)和J(CV)都很小，才能使J(test)相對小。
如下圖所示：
綜上所述，對資料及進行rational分析的結果是兩條：
首先，x中有足夠多的feature，以得到low bias;
其次，有足夠大的training set，以得到low variance；
練習題：
==============================================
本章重要，講述了機器學習中如何設計機器學習系統，涉及機器學習方法、策略、演算法的問題，希望大家牢牢掌握，以減少不必要的時間浪費。
關於Machine Learning更多的學習資料將繼續更新，敬請關注本部落格和新浪微博Sophia_qing。
給我老師的人工智慧教程打call！http://blog.csdn.net/jiangjunshow
