下面是章節決策樹的目錄(其他內容參見全文目錄)

決策樹以及決策樹的整合是很受歡迎的機器學習演算法，經常用於解決分類和迴歸任務。決策樹因為下列原因被廣泛使用：

1. 模型容易解釋。決策樹模型是可閱讀的，從根到葉節點，每一步都可以看出決策依據。
2. 能夠處理類別型特徵(跟連續特徵相對)。
3. 能解決多分類問題
4. 不需要特徵尺度變換（特徵值只參入比較而不參入數值計算）
5. are able to capture non-linearities and feature interactions[還沒想好這個該怎麼翻譯啊]

像隨機森林和迭代決策樹這樣的整合樹演算法在分類和迴歸任務上也位居前列。

MLlib支援使用決策樹做二分類、多分類和迴歸，既能使用連續特徵又能使用類別特徵。具體實現中按行對資料分割槽，允許對百萬級的例項進行分散式訓練。

整合樹（隨機森林和梯度迭代樹）將會在下一節中介紹。

基礎演算法

決策樹是一個貪心演算法，它遞迴地對特徵空間做分裂處理（不一定是二分，單屬性多個值的時候是多分）。決策樹中每個底層（葉節點）分割槽對應一個相同的標籤。每個分割槽都是通過從可能的分裂中貪心地選擇一個最好的分裂，從而最大化當前節點的資訊增益。也就是說，在每個樹節點上選擇的分裂是從集合argmax_s

節點不純度和資訊增益（Node impurity and information gain）

節點不純度是用來衡量通過某節點屬性對樣本做分裂之後每個部分的標籤的一致性的，也就是看每部分中標籤是不是屬於同一個型別（labe)。MLlib當前的實現為分類提供了兩種不純度衡量方法(GINI不純度和熵)，為迴歸提供了一種不純度衡量方法（方差）。

Impurity	Task	Formula	Description
Gini	分類		fi是某個分割槽內第i個標籤的頻率，C是該分割槽中的類別總數數。GINI不純度度量的是型別被分錯的可能性（型別的概率乘以分錯的概率 ）
熵	分類		i是某個分割槽內第i個標籤的頻率，C是該分割槽中的類別總數數
方差	分類		yi是某個例項的標籤，N是例項的總數， μ是所有例項的均值：

基於資訊增益的方法：資訊增益是父節點的不純度和兩個子節點的不純度之差。假設一個分裂s將資料集D（大小為N）分為兩個資料集D_left(大小為N_left）和D_right(大小為N_right)，那麼資訊增益可以表示為：

其中Impurity(D)、Impurity(D_left)、Impurity(D_right)是相應系統的不純度，見上文表格中的三種不純度公式。注意這裡的資訊增益跟資訊理論的專門概率資訊增益是不同的，它是父子節點的不純度之差，而不單指熵差。

注：

使用資訊增益的決策樹演算法實現有ID3、C4.5：ID3使用的是資訊增益，它在分裂時可能傾向於屬性值多的節點；C4.5是ID3的改進版，它使用的是資訊增益率，另外還基於資訊增益對連續型特徵做了離散化處理。

使用GINI不純度的決策樹演算法實現有CART。

分裂候選集（Split candidates）

連續特徵（Continuous features）

在單機版實現中，資料集一般較小，對每個連續特徵分裂出的候選集通常是去重之後的所有特徵值。為了更快的進行樹計算，某些實現中會對特徵值做排序並使用有序的去重值集作為候選集和。

但在大規模分散式資料集上，特徵值排序代價是非常昂貴的。決策樹在大資料上的實現，一般會計算出一個近似的分裂候選集，具體做法是在抽樣的部分資料集上做分位點（quantile）計算[分位點是將有序資料集分成N等分的分界點，例如：2分位點是中值或者說中位數]，這個其實就是連續特徵離散化。有序分裂產生了“區段”(bins)，區段的最大數量可以通過maxBins引數設定。

注意：區段的數量不可能超過當前的例項數量。如果不滿足這個條件，演算法會自動調整區段引數值(maxBins的最大值是32）。

類別型特徵(Categorical features)

對於類別型特徵，如果該特徵有M個可能的值（類別），那麼我們可以得到高達2^M-1-1個候選分裂集和。在二分類(0/1)和迴歸中，我們可以按照平均標籤對類別特徵值排序（參見《Elements of Statistical Machine Learning》章節9.2.4），進而將分裂候選集減少到M-1。例如，在一個二分類問題中，一個類別型特徵有三種類型A、B和C，對應的標籤（二分類中label 1)分別佔比0.2、0.6和0.4，那麼該類別型特徵值可以排序為A、C、B。兩種分裂候選集是<A|C,B>和<A,C|B>，其中”|”表示分裂。

In multiclass classification, all 2M−1−1 possible splits are used whenever possible. When 2M−1−1 is greater than the maxBins parameter, we use a (heuristic) method similar to the method used for binary classification and regression. The M categorical feature values are ordered by impurity, and the resulting M−1 split candidates are considered.（對這一段的理解不足，後續再翻譯）

停止規則（Stopping rule）

遞迴樹的構建在節點滿足下列條件時停止：

1. 節點深度等於maxDepth這個訓練引數。
2. 沒有分裂候選集能產生比minInfoGain更大的資訊增益。
3. 沒有分裂候選集產生的子節點都至少對應minInstancesPerNode個訓練樣本。

使用建議（Usage tips)

為了更好地使用決策樹，在下文中我們會討論各種引數的用法。下面列舉的引數大致按重要程度排序。新手應該主要關注“問題規格引數”這一節以及“最大深度”這個引數。

問題規格引數（Problem specification parameters）

問題規格引數描述了要解決的問題和資料集。這些引數只需要指定即可不需要調優。

• algo: Classification 或者 Regression
• numClasses: 分類的型別數量Number of classes (只用於Classification)
• categoricalFeaturesInfo: 指明哪些特徵是類別型的以及每個類別型特徵對應值（類別）的數量。通過map來指定，map的key是特徵索引，value是特徵值數量。不在這個map中的特徵預設是連續型的。
  • 例如：Map(0 -> 2, 4->10)表示特徵0有兩個特徵值(0和1)，特徵4有10個特徵值{0,1,2,3,…,9}。注意特徵索引是從0開始的，0和4表示第1和第5個特徵。
  • 注意可以不指定引數categoricalFeaturesInfo。演算法這個時候仍然會正常執行。但是類別型特徵顯示說明的話應該會訓練出更好的模型。

停止條件（Stopping criteria）

這些引數決定了何時停止構建樹（新增新節點）。當調整這些引數的時候，要謹慎使用測試集做校驗防止過擬合。

• maxDepth: 樹的最大深度。越深的樹表達能力越強（潛在允許更高的準確率），但是訓練的代價也越大並更容易過擬合。
• minInstancesPerNode: 如果一個節點需要分裂的話，它的每個子節點必須至少有minInstancesPerNode個訓練樣本。這個通常在隨機森林中用到，因為隨機森林比獨立樹有更大的訓練深度。
• minInfoGain: 如果一個節點需要分裂的話，必須最少有minInfoGain的資訊增益。

可調引數(Tunable parameters)

這些引數可用於調優。調優時要在測試集上小心測試以免過擬合。

• maxBins: 連續特徵離散化時用到的最大區段(bins)數。
  • 增加maxBins的值，可以讓演算法考察跟多的分裂候選集，從而做耕細粒度的分裂。但是，這會增加計算量和通訊開銷。
  • 對於類別型特徵，maxBins引數必須至少是特徵值（類的數量M）的數量。
• maxMemoryInMB:  儲存統計資訊的記憶體大小。
  • 預設值保守地設定為256MB，這個大小在絕大多數應用場景下夠用。增加maxMemoryInMB（如果增加的記憶體可用的話）允許更少的資料遍歷，可以提升訓練速度。但是，這也可能降低彙報，因為當maxMemoryInMB增長時，每次體的帶的通訊開銷也會成比例增長。
  • 實現上的細節：為了處理更好，決策樹演算法會收集一組需要分裂節點的統計資訊（而不是一次一個節點）。一個組中能夠處理的節點數量取決於記憶體需求（不同的特徵差異大）。MaxMemoryInMB引數指定了每個worker上用於統計的記憶體限制（單位是MB）。
• subsamplingRate: 用於學習決策樹的訓練樣本比例。這個引數跟樹的整合（隨機森林，梯度提升樹）最相關，用於從原始資料中抽取子樣本。對於單個決策樹，這個引數用途不大，因為訓練樣本的數量通常不是主要約束。
• impurity: 用於選擇候選分裂的不純度度量標準。這個引數需要跟algo引數匹配。它的取值在上文表格中有討論。

快取和檢查點（Caching and checkpointing）

MLlib 1.2添加了幾個特性用來擴充套件到更大的樹以及數的整合。當maxDepth設定得比較大，開啟節點ID快取和檢查點就比較有用了。這些引數在numThrees設定得比較大的隨機森林演算法中也比較有用。

• useNodeIdCache:當這個引數設定為true，演算法會避免在每次迭代中將當前模型傳給spark執行器(excutors)。
  • 這對深度大的樹（加速計算）和大的隨機森林（減少每次迭代的通訊開銷）比較有用。
  • 實現上的細節：預設情況下，演算法向執行器傳達當前模型的資訊以便執行器匹配訓練樣本和樹節點。如果這個設定開啟，模型資訊直接快取而不需要傳送。

節點ID快取產生了一個RDD序列（每次迭代1個）。這個長序列會導致效能問題，但是為RDD設定檢查點(checkpoitng)可以緩解這個問題。注意檢查點只在useNodeIdCache開啟時可用。

• checkpointDir: 設定檢查點的儲存目錄
• checkpointInterval: 設定檢查點的頻率。過高會導致大量叢集寫操作。過低的話，如果執行器失敗，RDD需要重新計算。

擴充套件性（Scaling）

在計算方面，擴充套件能力跟訓練樣本數、特徵數量、maxBins引數有著近似線性的關係。在通訊方面，擴充套件能力跟特徵數量以及maxBins有著近似線性的關係。

The implemented algorithm reads both sparse and dense data. However, it is not optimized for sparse input.

實現的演算法既可以讀取稀疏資料又可以讀取密集型資料。但是，目前沒有為稀疏輸入做優化。

示例

分類（Classification）

下面的例子說明了怎樣匯入LIBSVM 資料檔案，解析成RDD[LabeledPoint]，然後使用決策樹進行分類。GINI不純度作為不純度衡量標準並且樹的最大深度設定為5。最後計算了測試錯誤率從而評估演算法的準確性。