決策樹是一種基本的分類和迴歸方法。決策樹呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間和類空間上的條件概率分佈。學習時，利用訓練資料，根據損失函式最小化的原則建立決策樹模型。預測時，對新的資料，利用決策樹模型進行分類。決策樹學習通常包括三個步驟：特徵選擇、決策樹的生成和決策樹的剪枝。（ID3、C4.5、CART）

1 特徵選擇

特徵選擇在於選取對訓練資料具有分類能力的特徵。通常特徵選擇的準則是資訊增益或資訊增益比。

1.1 熵（entropy）

熵是表示隨機變數不確定性的度量。X是一個取有限個值的離散隨機變數，其概率分佈為

P(X=xi)=pi,i=1,2,…,n
則隨機變數X的熵定義為
H(X)=−∑i=1npilogpi
熵越大，隨機變數的不確定性就越大。

1.2 條件熵

設有隨機變數(X,Y)，其聯合概率分佈為

P(X=xi,Y=yi)=pij,i=1,2,…,n;j=1,2,…,m
條件熵H(Y|X)表示在已知隨機變數X的條件下隨機變數Y的不確定性。
H(Y|X)=∑i=1npiH(Y|X=xi)
這裡，pi=P(X=xi),i=1,2,…,n.

1.3 資訊增益

資訊增益：特徵A對訓練資料集D的資訊增益g(D,A)，定義為集合D的經驗熵H(D)與特徵A給定條件下D的經驗條件熵H

(D|A)之差，即

g(D,A)=H(D)−H(D|A)

1.4 資訊增益比

以資訊增益作為劃分訓練資料集的特徵，存在偏向於選擇取值較多的特徵的問題。（取值較多的特徵，可以這樣理解，這個特徵取值特別多，每條例項一個值，如果選擇這個特徵，那麼每個分支都只有一條例項，也就是每個分支都屬於同一個類，這個分支的熵就是0，這個特徵的條件熵也就是0。這對其他的特徵是不公平的，所以將資訊增益除於這個特徵的熵）

資訊增益比：特徵A對訓練資料集D的資訊增益比gR(D,A)定義為其資訊增益g(D,A)與訓練資料集D關於特徵A的值的熵HA(D)之比，即

gR(D,A)=g(D,A)HA(D)
其中，HA

(D)=−∑ni=1|Di||D|log2|Di||D|，n是特徵A取值的個數。

2 決策樹的生成

2.1 ID3 演算法

ID3演算法的核心是在決策樹各個結點上應用資訊增益準則選擇特徵，遞迴地構建決策樹。

2.2 C4.5 演算法

C4.5用資訊增益比來選擇特徵

3 決策樹的剪枝

決策樹的剪枝往往通過極小化決策樹整體的損失函式來實現。設樹T的葉節點個數為|T|，t是樹T的葉節點，該葉節點有Nt個樣本點，其中k類的樣本點有Ntk個，k=1,2,…,K，Ht(T)為葉節點t上的經驗熵，α≥0為引數，則決策樹學習的損失函式可以定義為

Cα(T)=∑t=1|T|

相關推薦

李航 統計學習方法 第五章 決策樹 課後 習題 答案

決策樹是一種基本的分類和迴歸方法。決策樹呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間和類空間上的條件概率分佈。學習時，利用訓練資料，根據損失函式最小化的原則建立決策樹模型。預測時，對

《統計學習方法（李航）》講義 第05章 決策樹

lan 定義 if-then 利用 建立 then 統計 來源 根據 決策樹(decision tree) 是一種基本的分類與回歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構，在分類問題中，表示基於特征對實例進行分類的過程。它可以認為是if-then

統計學習方法 第五章

統計學習第五章：決策樹 決策樹模型 分類決策樹模型是一種描述對例項進行分類的樹形結構，表示基於特徵對例項進行分類的過程。決策樹由結點和有向邊組成。結點有兩種型別：內部節點和葉節點，內部節點表示一個

最小二乘迴歸樹Python實現——統計學習方法第五章課後題

李航博士《統計學習方法》第五章第二題，試用平方誤差準則生成一個二叉迴歸樹。 輸入資料為： x     0            1          2         3      

統計學習方法第五章CART演算法程式碼實踐例題5.4

from numpy import * def loadDataSet(): # 本書例題的資料集 dataset = [['青年', '否', '否', '一般', '否'], ['青年', '否', '否', '好', '否'], ['青

計算機網路教程第五章運輸層課後習題答案

第五章   傳輸層5—01         試說明運輸層在協議棧中的地位和作用，運輸層的通訊和網路層的通訊有什麼重要區別？為什麼運輸層是必不可少的？答：運輸層處於面向通訊部分的最高層，同時也是使用者功能中的最低層，向它上面的應用層提供服務     運輸層為應用程序之間提供端到

李航《統計學習方法》——第五章 決策樹模型

由於網上資料很多，這裡就不再對演算法原理進行推導，僅給出博主用Python實現的程式碼，供大家參考 適用問題：多類分類 三個步驟：特徵選擇、決策樹的生成和決策樹的剪枝 常見的決策樹演算法有： ID3：特徵劃分基於資訊增益 C4.5：特徵劃分基於資訊增益

李航-統計學習方法-習題-第九章

9.2 證明引理 9.2. 引理 9.2 若P~θ(Z)=P(Z∣Y,θ)\widetilde P_\theta(Z)=P(Z|Y,\theta)Pθ​(Z)=P(Z∣Y,θ)，則 F(P~,θ)=lo

李航·統計學習方法筆記·第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型

第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型 標籤（空格分隔）： 機器學習教程·李航統計學習方法 邏輯斯蒂：logistic 李航書中稱之為：邏輯斯蒂迴歸模型 周志華書中稱之為：對數機率迴歸模

統計學習方法-第2章-感知機(1)

2.1 感知機模型 定義: 輸入特徵空間為\(\chi\subseteq R^n\), 輸出空間為\(\mathcal{Y}=\{+1, -1\}\). 則由輸入空間到輸出空間的如下函式: \[f(x) = sign(w\cdot x+b)\] 其中\[sign(x)=\left\{\begin{array

李航—統計學習方法筆記（一）

什麼是獨立同分布？ 百度： 在概率統計理論中，指隨機過程中，任何時刻的取值都為隨機變數，如果這些隨機變數服從同一分佈，並且互相獨立，那麼這些隨機變數是獨立同分布。如果隨機變數X1和X2獨立，是指X1的取值不影響X2的取值，X2的取值也不影響X1的取值且隨機變數X1和X2服從同一分佈，這意味著X1和X2具有

李航 統計學習方法 查缺補漏

矩陣的微積分 https://zhuanlan.zhihu.com/p/28956839 獨立同分布 歐式空間 標註問題 聯合概率分佈 貝葉斯統計 https://www.zhihu.com/question/21134457 似然函式和概率密度函式 https://www.zhihu.co

李航統計學習方法之樸素貝葉斯法（含python及tensorflow實現）

樸素貝葉斯法 樸素貝葉斯法數學表示式 後驗概率最大化的含義        樸素貝葉斯是一個生成模型。有一個強假設：條件獨立性。我們先看下樸素貝葉斯法的思想，然後看下條件獨立性具體數學表示式是什麼樣的。

統計學習方法第四章課後習題

4.1 用極大似然估計法推導樸素貝葉斯法中的先驗概率估計公式(4.8)和條件概率估計公式(4.9) 首先是(4.8) P(Y=ck)=∑i=1NI(yi=ck)NP({Y=c_k})=\frac {\sum_{i=1}^NI(y_i=c_k)} {N} P(Y=

演算法工程師修仙之路：李航統計學習方法（一）

第1章 統計學習方法概論 統計學習 統計學習的特點 統計學習（statistical learning）是關於計算機基於資料構建概率統計模型並運用模型對資料進行預測與分析的一門學科，統計學習也稱為統計機器學習（statistical machine learnin

李航統計學習方法習題5.1

定義5.3（資訊增益比）特徵A對訓練資料集D的資訊增益比定義為其資訊增益與訓練資料集D關於特徵A的值的熵之比，即                                                                                

統計學習方法第四章極大似然估計的樸素貝葉斯分類方法例題4.1程式碼實踐

#-*- coding:utf-8 -*- from numpy import * #將書上的資料輸入，這裡懶得輸入那麼多個列表就用下array的轉置方法吧！就用這個方法吧0.0 def loadDataSet(): dataSet=[[1,1,1,1,1,2,2,2,2,2,3,3,3,3,3],

李航-統計學習方法筆記（一）：統計學習方法概論

對象 統計學 技術分享 精確 結束 人的 發生 abs 速度 本系列筆記，主要是整理統計學習方法的知識點和代碼實現各個方法，來加強筆者對各個模型的理解，為今年找到好工作來打下基礎。 計劃在一個月內更新完這本書的筆記，在此立一個flag: 從2019/2/17開始 到 20

《機器學習》第三章 決策樹學習 筆記加總結

分類問題 子集 觀察 組成 cas 普通 重復 1.0 需要 《機器學習》第三章 決策樹學習 決策樹學習方法搜索一個完整表示的假設空間，從而避免了受限假設空間的不足。決策樹學習的歸納偏置是優越選擇較小的樹。 3.1.簡介 決策樹學習是一種逼近離散值目標函數的方法，在這種方法

《機器學習》 周志華學習筆記第四章 決策樹（課後習題）python 實現

一、基本內容 1.基本流程 決策樹的生成過程是一個遞迴過程，有三種情形會導致遞迴返回 （1）當前節點包含的yangben全屬於同一類別，無需劃分； （2）當前屬性集為空，或是所有yangben在所有屬性上的取值相同，無法劃分； （3）當前結點包含的yangben集合為空，不能