一、基本內容

1.基本流程

決策樹的生成過程是一個遞迴過程，有三種情形會導致遞迴返回

（1）當前節點包含的yangben全屬於同一類別，無需劃分；

（2）當前屬性集為空，或是所有yangben在所有屬性上的取值相同，無法劃分；

（3）當前結點包含的yangben集合為空，不能劃分

2.劃分選擇

2.1資訊增益：對可取值數目較多的屬性有所偏好

2.2增益率:對可取值數目較少的屬性有所偏好 C4.5演算法啟發式

2.3基尼指數：CART決策樹

3.剪枝處理:決策樹學習演算法中對付過擬合的主要手段

3.1預剪枝：降低過擬合風險，減少決策樹的訓練時間開銷和測試時間開銷，有欠擬合風險

3.2後剪枝：欠擬合風險很小，泛化效能往往由於預剪枝，但是訓練時間開銷很大

4.連續與缺失值

4.1連續值處理 C4.5決策樹演算法

4.2缺失值處理

C4.5 解決兩個問題(1)如何在屬性值缺失的情況下進行劃分屬性選擇？

（2）給定劃分屬性，若yangben在該屬性上的值缺失，如何對yangben進行劃分？

5.多變數決策樹

決策樹自己學習的時候寫了一些程式碼，有點還沒有完成。以後有時間會補上

https://github.com/makang101/machinelearning/tree/master/chapter4decisionTree

二、課後習題