第五章 決策樹

概述

　　1.可以認為是if-then的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。
　　2.主要優點是模型具有可讀性，分類速度快。
　　3.包括三個步驟：特徵選擇、決策樹的生成和決策樹的修剪。

5.1 決策樹模型與學習

　　決策樹的損失函式通常是正則化的極大似然函式。
　　現實中決策樹演算法通常採用啟發式方法，近似求解這一最優化問題，這樣得到的決策樹是次最優的
　　決策時常用的演算法有ID3、C4.5與CART。

5.2 特徵選擇

　　特徵選擇在於選取對訓練資料具有分類能力的特徵，可以提高決策樹學習的效率。
　　通常特徵選擇的準則是資訊增益或資訊增益比。

資訊增益

熵表示隨機變數不確定性的度量。隨機變數X熵的定義為

H(X)=−∑i=1npilogpi$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$
若p=0，則定義0log0 = 0。當式中的對數以2為底或以e為底，這時熵的單位分別稱為位元或者納特。
當隨機變數只取兩個值，例如1或0，即X的分佈為：
P(X=1)=p,P(X=0)=1−p$$P(X=1)=p,P(X=0)=1-p$$
熵為：
H(p)=−plog2p−(1−p)log2(1−p)$$H(p)=-p{\log }_{2}p-(1-p){\log }_2(1-p)$$
當p=0或p=1時H(p)=0,隨機變數完全沒有不確定性，當p=0.5時，H(p)=1，熵取值最大，隨機變數不確定性最大。
條件熵H(Y|X)表示在X條件下Y的不確定性：

H(Y|X)=∑i=1npiH(Y|X=xi)$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$

當熵和條件熵中的概率由資料估計（特別是極大似然估計）得到時，所對應的熵與條件概率分別稱為經驗熵和經驗條件熵。

資訊增益表示得知特徵X的資訊而使類Y的資訊的不確定性減少的程度

　　定義5.2 (資訊增益) 特徵A對訓練集D的資訊增益g(D,A)，定義為集合D的經驗熵H(D)，與特徵A給定條件下D的經驗條件熵H(D|A)之差，即

g(D,A)=H(D)−H(D|A)$$g(D,A)=H(D)-H(D|A)$$

　　一般的，熵H(Y)與條件熵的差稱為互資訊。資訊增益等價於互資訊。

　　根據資訊增益準則的特徵選擇方法是，對訓練資料集D，計算其每個特徵的資訊增益，並比較它們的大小，選擇資訊增益最大的特徵。

資訊增益比

特徵A對訓練資料集D的資訊增益比gR(D,A)$g_R(D,A)$定義為其資訊增益g(D,A)與訓練資料集D關於特徵A的值的熵HA(D)$H_A(D)$

之比，即

gR(D,A)=g(D,A)HA(D)$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$

5.3 決策樹的生成

ID3演算法

　　ID3演算法的核心是在決策樹的各個結點用資訊增益準則選擇特徵，遞迴的構建決策樹。具體方法是：從根節點開始，對結點計算所有可能特徵的資訊增益，選取資訊增益最大的特徵作為結點的特徵，由該特徵的不同取值建立子結點；再對子結點遞迴的呼叫以上方法，構建決策樹。直到所有的特徵的資訊增益均很小或沒有特徵可以選擇為止。

　　ID3演算法主要用來處理離散性問題，不適合用於處理連續性問題。

演算法 (ID3 演算法)

輸入：訓練資料集D，特徵集A，閾值ε$\epsilon$;

輸出：決策樹T

（1）若D中所有例項屬於同一類C，則T為單結點樹，並將C作為該結點的類標記，返回T；

（2）若A是空集，則T為單結點樹，並將D中例項數最大的類C作為該結點的類標記，返回T；

（3）否則，計算A中各特徵對D的資訊增益，選擇資訊增益最大的特徵。

（4）如果所選擇的特徵的資訊增益小於閾值，則T為單結點樹，並將D中例項數最大的類作為該結點的類標記，返回T；

（5）否則，對所選特徵的每一個可能值a，依據A=a將D分割為若干非空子集Di$D_i$，將Di$D_i$中例項數最大的類作為標記，構建子結點，由結點及其子結點構成樹T，返回T；

（6）對第i個子結點，以Di$D_i$為訓練集，以除去已用特徵外的其他特徵作為特徵集，遞迴的呼叫（1）~（5）的過程，得到子樹並返回。

C4.5的生成演算法

C4.5演算法與ID3演算法相似，只不過用資訊增益比代替資訊增益來選擇特徵。

5.4 決策樹的剪枝

　　如果不進行樹的剪枝操作，決策樹可能過於複雜，泛化能力差，即出現過擬合。具體的，剪枝過程是從已生成的樹上裁掉一些子樹或者葉結點，並將其根結點或父結點作為新的葉結點。

　　決策樹的剪枝往往通過最小化決策樹整體的損失函式值來進行的。假設有T個結點，t是樹T的葉結點，葉結點上有Nt$N_t$個樣本點，其中k類的樣本點有Ntk${\mathrm{N}}_{tk}$個，k=1，2，3，…，K，決策樹學習的損失函式可以定義為：

Cα(T)=∑t=1|T|NtHt(T)+α|T|$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$

其中經驗熵為：

Ht(T)=−∑kNtkNtlogNtkN

相關推薦

《統計學習方法》 讀書筆記 第五章

第五章 決策樹 概述 　　1.可以認為是if-then的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。 　　2.主要優點是模型具有可讀性，分類速度快。 　　3.包括三個步驟：特徵選擇、決策樹的生成和決策樹的修剪。 5.1 決策樹模

強化學習（RLAI）讀書筆記第五章蒙特卡洛方法

第五章：蒙特卡洛方法 和前幾章講的不一樣，蒙特卡洛方法不需要對環境進行完全的建模，而只需要經驗，也就是實際或者模擬的與環境進行互動的整個樣本序列，包括狀態動作和反饋資訊。從實際互動中學習並不需要對環境建模，而從模擬互動中學習也只需要能夠產生相應的轉移樣本而不是完整的環境狀態轉移概率分佈。而且很多

深度學習（花書）讀書筆記——第五章-機器學習基礎

深度學習是機器學習的一個特定分支。我們要想充分理解深度學習,必須對機器學習的基本原理有深刻的理解。5.1 學習演算法機器學習演算法是一種能夠從資料中學習的演算法。然而,我們所謂的 ‘學習’ 是什麼意思呢?Mitchell (1997) 提供了一個簡潔的定義:‘‘對於某類任務

java程式設計的邏輯讀書筆記——第五章

類的擴充套件 介面和抽象類 interface 宣告介面 implements實現介面 介面約定的是功能，而不是具體實現 介面中方法的預設修飾符為public abstract 介面中變數的預設修飾符為public static final 介面

Java程式設計思想第四版讀書筆記——第五章 初始化與清理

第五章 初始化與清理 1 用構造器確保初始化 使用構造器（condructor），在建立物件時初始化。分為帶引數的初始化和不帶引數的初始化。 2 方法過載 型別提升（向上提升）：int — long — float — double    

精益資料分析讀書筆記——第五章-資料分析框架

戴夫·麥克盧爾的海盜指標說——AARRR 獲取使用者（Acquisition）、提高活躍度（Activation）、提高留存率（Retention）、獲取營收（Revenue）、自傳播（Referral） 要素 功用 相關指標 方式 獲取使用者

統計學習方法 李航---第5章 決策樹

第5章 決策樹 決策樹(decision tree)是一種基本的分類與迴歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間與類空間上的條件概率分佈。其主要

【統計學習方法讀書筆記】感知機的個人理解（2）

這一部分說說自己看感知機學習演算法的對偶形式的理解。 引用知乎使用者的回答，這裡搞清楚兩件事情。自己看書的第一個疑惑是為什麼,這其中的ni是從何而來呢？後來發現忽略一個點就是“對於一個多次被誤分類的點”，也就是某個資料被使用了多次，因此出現ni這個引數。 第二個就是對於李航老師說的“例

【統計學習方法讀書筆記】感知機的個人理解（1）

寫在前面： 在友人的推薦下，開始入李航老師的坑，《統計學習方法》。 讀到第二章，感知機，李航老師由淺入深讓我有了很好的理解，現在自己總結一下思路。 正文：  感知機用於二分類問題，由淺開始：假定我們有一個平面上存在許許多多的藍色點和紅色點，並且假設存在一條直線可以將藍紅

機器學習與資料科學 基於R的統計學習方法（一)-第1章 機器學習綜述

1.1 機器學習的分類 監督學習：線性迴歸或邏輯迴歸， 非監督學習：是K-均值聚類， 即在資料點集中找出“聚類”。 另一種常用技術叫做主成分分析（PCA） ， 用於降維， 演算法的評估方法也不盡相同。 最常用的方法是將均方根誤差（RMSE） 的值降到最小， 這一數值用於評價測試集的預測結果是否準確。 R

《機器學習實戰》筆記--第五章：Logistic迴歸

知識點1：python strip()函式和Split函式的用法總結原文程式碼：def loadDataSet(): dataMat = [] labelMat = [] fr = open('testSet.txt') for line in

《UNIX網路程式設計卷1》讀書筆記--第五章TCP客戶/服務例項

前言 本章開始編寫一個完整的TCP客戶/伺服器程式例項。 (1) 客戶衝標準輸入讀入一行文字，並寫給伺服器 (2）伺服器從網路輸入讀入這行文字，並回射給客戶 (3）客戶從網路讀入這行回

《圖解HTTP》讀書筆記——第五章

第5章 與HTTP協作的Web伺服器 5.1 用單臺虛擬主機實現多個域名 5.2 通訊資料轉發程式：代理/閘道器/隧道 1）代理：是一種有轉發功能的應用程式，不會改變請求的URI; 2)兩種分類準則：是否利用快取；是否會修改報文； 3）快取代理（Cac

《Hands-On Machine Learning with Scikit-Learn & TensorFlow》讀書筆記 第五章 支援向量機

第5章 支援向量機 支援向量機（SVM）是個非常強大並且有多種功能的機器學習模型，能夠做線性或者非線性的分類，迴歸，甚至異常值檢測。機器學習領域中最為流行的模型之一，是任何學習機器學習的人必備的工具。SVM 特別適合應用於複雜但中小規模資料集的分類問題。

增強學習筆記 第五章 蒙特卡洛方法

兩個 width 重要 思想 後者 src 兩種方法 預測 eps 5.1 蒙特卡洛預測 分為兩種：First-Visit MC和Every-Visit MC，前者用的更多。後者用於函數近似和Eligibility Traces 5.2 蒙特卡洛評估action valu

強化學習（RLAI）讀書筆記第十三章策略梯度方法（Policy Gradient Methods）

強化學習（RLAI）讀書筆記第十三章策略梯度方法（Policy Gradient Methods） 13.1 Policy Approximation and its Advantages 13.2 The Policy Gradient Theore

強化學習（RLAI）讀書筆記第八章表格方法的規劃與學習

第八章：Planning and Learning with Tabular Methods 本章為需要環境的model-based強化學習方法（如DP和啟發式搜尋）和不需要環境的model-free方法（比如MC和TD）提供一個統一的論述框架。基於模型的方法依賴規劃（planning）而無模型

CLR via C#學習筆記-第五章-基元類型、引用類型和值類型-編程語言的基元類型

語法 是我 strong new 完全 type 風格 基本類 直接映射 5.1 編程語言的基元類型 FCL類型 使用以下語法分配一個整數 System.Int32 a=new System.Int32(); 這種語法較為繁瑣，C#允許換用如下所示的語法 int a=

CLR via C#學習筆記-第五章-引用類型和值類型

引用類型 tro 生成 形式 編譯 就是 type 完全匹配 成員 5.2 引用類型和值類型 使用引用類型 CLR支持兩種類型：引用類型和值類型。雖然FCL的大多數類型都是引用類型，但程序員用的最多的還是值類型。 引用類型總是從托管堆分配，C#的new操作符返回對象內存地址

CLR via C#學習筆記-第五章-值類型的裝箱和拆箱

總結 一行 other 對象的引用 返回對象 line 集合類 args math 5.3 值類型的裝箱和拆箱 裝箱 值類型比引用類型“輕”，原因是他們不作為對象在托管堆中分配，不被垃圾回收，也不通過指針進行引用。 但許多時候都需要獲取對值類型實例的引用。例如，假定要創建A