http://www.cnblogs.com/xing901022/p/9362339.html

本章主要圍繞機器學習的推薦實踐過程以及評測指標，一方面告訴我們如何優化我們的模型；另一方面告訴我們對於分類的算法，使用精確率和召回率或者F1值來衡量效果更佳。最後還強調了下，在大部分的機器學習中，訓練樣本對模型的準確率都有一定的影響。

更多內容參考 機器學習&深度學習

機器學習最佳實踐

針對垃圾郵件分類這個項目，一般的做法是，首先由一堆的郵件和是否是垃圾郵件的標註，如[(郵件內容1,是),(郵件內容2,否),(郵件內容3,是)...]。然後我們針對郵件的內容去做分詞，搜集全部詞語組織成詞表；由於郵件內容的詞通常都是常用詞，因此可以取top500的詞組織成詞表，然後替換內容郵件。

接下來如果想要優化機器學學習模型，可以有下面幾種： 1 搜集更多的數據 2 從郵件的地址中尋找新的feature 3 從郵件內容中尋找新的feature 4 基於更復雜的算法檢測錯拼詞

推薦的步驟是： 1 先通過一些簡單的算法快速實現，然後通過交叉驗證選擇一個比較好的模型 2 通過學習曲線，確定是屬於高偏差的情況、還是高方差的情況，再來決定是否增加樣本、或者增加特征 3 錯誤分類的分析，通過分析那些被分錯的樣本，觀察是否有什麽共同的特征。比如分析一個英文單詞，提取詞幹和不提取，錯誤率有沒有什麽變化，從而調整算法

P、R、F1模型評測

在說一個其他的例子，癌癥檢測。如果我們的錯誤率是1%，而1%中只有0.5%是真正得了癌癥的，那麽這個分類的算法其實也稱不上好。所以錯誤率低，並不一定代表模型就好。

因此可以使用下面的指標衡量方法，精確率和召回率。精確率是指我們預測的多少是對的；召回率是指我們預測對的全不全（預測對的占本身就是對的多少）。通過這兩個指標可以比較好的評判一個分類算法的好壞。

如果不知道怎麽平衡精確率和召回率，可以直接使用F1 Score，這個指標同時衡量了兩個值：

一般說來，盲目的擴充樣本數據並沒有什麽作用。但是在一些特例中，只有足夠的樣本才能使得訓練更準確。比如基於上下文卻分容易混淆的詞語。

吳恩達機器學習筆記 —— 12 機器學習系統設計