1、K-近鄰演算法

剛剛把K-近鄰演算法整理了一下，下面說一下我對它的理解

（1）優點

• 簡單有效：效果很好（對於適用這個演算法的問題來說），而且原理很簡單，沒有什麼困難的數學公式來推導理解
• 不需要很長時間的訓練：只要有資料集就可以直接執行，不需要訓練出模型
• 是一種online演算法：也就是它是一種線上演算法，新資料可以直接加入資料集而不必重新訓練（沒有它本身就沒有模型可言）

（2）缺點

• 首先，這個演算法不是常規的機器學習演算法，因為它沒有“學習過程”，一般的機器學習演算法是需要通過訓練資料來學習得到一個模型的，但是KNN沒有這個過程，雖然它也有訓練集，這就導致它每次預測新的樣本，就要將所有訓練集都儲存到記憶體中，然後一個個比較，如果你的資料集非常大，這就非常佔據記憶體資源了（一般來說資料集越大，準確度越高）
• 無法給出任何資料的基礎結構資訊，因此我們也無法知曉平均例項樣本和典型例項樣本具有什麼特徵，換句話來說，讓你區分一個人是歐洲人還是中國人，很好區分，但是讓你區分中國人和韓國人，有時候就比較困難，前面那個區分是典型的（一眼就可以看出來，這叫特徵明顯），而後一個就不太明顯了（這就是不典型了）
• 沒有解決樣本不平衡問題（也就是有些類別樣本數量很多，有些樣本數量很少），遇到這種問題，它的預測偏差會比較大
• K值大小的選擇，這個要根據你的資料集樣本和種類的分配，還有類別的不同來決定，隨著資料集的變化可能會發生變化，有時候要不斷篩選才可以得出

（3）應用領域

理論上，只要資料可以轉化成向量，就可以用KNN演算法，只是效果好壞不一樣罷了，這裡列舉的都是效果比較好的：

文字分類、模式識別、聚類分析、多分類領域

2、決策樹

（1）優點：

• 決策樹具有一般機器學習演算法的優點，那就是一勞永逸，一旦獲得一棵決策樹，就不需要再用到原來的資料集了（當然是基於這棵決策樹的準確率很不錯的情況），下次預測一個樣本，只要將其放入決策樹中，就可以輕鬆得到分類或者回歸結果
• 非常容易理解，因為決策樹在我看來更像是基於規則的分類，在形式上比起K近鄰演算法要容易理解，可解釋性也很強，決策樹模型可以想象，在你大腦中可以輕易復現出來，可以說決策樹是一個白盒模型，不像神經網路那樣更偏向於黑盒模型
• 需要的資料量相對而言不大，其他技術需要的資料量一般要大很多，而且HIA需要去除不完整資料，但是決策樹不需要（專門有針對不完整資料的策略）
• 決策樹演算法的時間複雜度（即預測資料）是用於訓練決策樹的資料點的對數
• 可以處理的問題領域很廣（而且準確率相對而言也是很高的），而其他演算法大都是針對某一領域的資料集具有較高的準確率
• 能夠處理多輸出問題

（2）缺點

• 決策樹的結果很不穩定，可能資料集一個小的變化，就會導致生成一棵完全不同的決策樹（可以使用整合決策樹來解決）
• 容易造成過擬合現象，也就是枝葉太過茂盛，節點過多（可以採用剪枝策略來解決）
• 針對最優決策樹來說，決策樹實際上是一個啟發式演算法，如貪婪演算法，尋求在每個節點上的區域性最優決策，這樣的演算法不能保證返回全域性最優決策樹
• 樹的每次分叉都減少了資料集，有意地創造分裂將會潛在地引入偏差（bias）
• 針對連續值屬性來說，劃分的選擇是一個大問題，也就是怎麼改變區間大小，比如年齡從0-200，你可以劃分為1-10,11-20,這時候區間大小為10，如果你劃分成1-20,21-40，這時候區間大小是20，但是你應該怎麼劃分呢，如果一個屬性還好說，但是如果很多屬性都是連續的，那麼就有些不好處理了
• 對有時間順序的資料，需要很多預處理的工作

（3）決策樹們

不同種類的決策樹，可以參考：決策樹有哪些特性