_{CART演算法原理與理解}

CART演算法的全稱是分類迴歸樹演算法，分類即劃分離散變數；迴歸劃分連續變數。他與C4.5很相似，但是一個二元分類，採用的是類似於熵的GINI指數作為分類決策，形成決策樹之後還要進行剪枝，我自己在實現整個演算法的時候採用的是代價複雜度演算法。

GINI指數

GINI指數主要是度量資料劃分或訓練資料集D的不純度為主，係數值的屬性作為測試屬性，GINI值越小，表明樣本的純淨度越高（即該樣本屬於同一類的概率越高）。選擇該屬性產生最小的GINI指標的子集作為它的分裂子集。比如下面示例中一項是3人有房，0人無房的欠款記錄（GINI=0）,三個有房的全部都不欠款，是不是純度相當高，

在節點t時，GINI指數公式：

是節點t中類j所佔的比例。GINI的值範圍。

構建決策樹

構建決策樹時通常採用自上而下的方法，在每一步選擇一個最好的屬性來分裂。 "最好" 的定義是使得子節點中的訓練集儘量的純度。不同的演算法使用不同的指標來定義"最好"。一般有4中不同的不純度量可以用來發現CART模型的劃分，取決於目標變數的型別，對於分類的目標變數，可以選擇GINI雙化或有序雙化；對於連續的目標變數，可以使用最小二乘偏差（LSD）或最小絕對偏差（LAD）。這裡當然選擇GINI指數。

演算法的最佳分割點

數值型變數：（比如工資的高低）對記錄的值從小到大排序，計算每個值作為臨界點產生的子節點的異質性統計量。能夠使異質性減小程度最大的臨界值便是最佳的劃分點。

       分型別變數：列出劃分為兩個子集的所有可能組合，計算每種組合下生成子節點的異質性。同樣，找到使異質性減小程度最大的組合作為最佳劃分點。

決策樹規模

       一般在示例中展示的都是低深度模型，所以也不會出現決策樹的規模的問題。在實際的應用中，決策樹規模受使用者對深度要求、節點純度、節點樣本個數等影響、，因此這就決定了需要對決策樹進行停止生長的限制（剪枝）。

       剪枝必要性：當分類迴歸過於細化，會導致過擬合問題。

       前剪枝：停止生長策略（深度到達某個值就停止生長、純度全都超過某個值時不再劃分）；

       後剪枝：在允許決策樹達到充分伸張後，自下而上的逐層剪枝（GINI指數明顯接近零，也就是屬性分類的某一類特別佔優勢）。

示例（訓練集）

對如下遞迴劃分方式如何建立決策樹？從而預測拖欠貸款的人群。

計算GINI指數，選擇分割點

計算GINI指數，選擇分割點

生成決策樹

（不好意思，不想畫表格，所以全部截圖上傳的，博文一直沒更新就是不太想編輯）

參考文獻

1.http://wenku.baidu.com/link?url=-U2IM6cEZtFCgqYl1XRwrRwpsxmVde-x29iZpoo_GAtswaEeIchz-WOwjQcJe_2i7Kje2kVu_P_xi9SAfcA5ACWKk-lbZjmWx1MLsUVQIfW