• • 決策樹模型
    • 定義
    • 決策過程
    • 決策樹學習
  • 特徵選擇
    • 資訊增益
    • 計算方法
  • ID3演算法

決策樹模型

定義

分類決策樹模型是一種描述對例項進行分類的樹形結構。決策樹由節點（Node）和有向邊（directed edge）組成。節點有兩種型別：內部節點（internal node）和葉節點（left node）。內部節點表示一個特徵或一個屬性，葉節點表示一個類。

決策過程

用決策樹分類，從根節點開始，對例項的某一特徵進行測試，根據測試結果，將例項分配到其子節點（每一個子節點對應著特徵的一個取值）。遞迴的進行測試和分配，直至葉節點，得到分類結果。

我們來舉個例子，看一下決策樹的決策過程。

假設小明要出門了，需要選擇一種出行方式，假設出行方式有以下幾種：步行，自行車，駕車，地鐵。如果距離很近，那麼小明就選擇步行，如果不是特別遠，就選擇自行車，如果特別遠的話，就要選擇駕車或地鐵了。然後考慮今天是不是限號呢，不限號就駕車，限號就只能地鐵了，現在我們把這個決策過程畫出來。

上圖就表示了小明在選在出行方式時的策略，對照上述的定義，可以看出這棵決策樹有兩個內部節點（距離、限號）、四個葉節點（步行，騎車，駕車、地鐵），也就是說在決策的時候要考慮這兩個特徵，最終的結果可能有四種。

決策樹學習

目標：決策樹的學習，就是根據資料集構建出一棵決策樹。我們希望構建出來的決策樹，既能很好的對資料集進行分類，又具有很好的泛化能力。

啟發式學習：由於基於特徵空間劃分的類的條件概率模型有無限多個，從所有可能的決策樹中選取最優化決策樹是NP完全問題，所以現實中決策樹學習演算法是採用啟發式方法，近似求解這一最優化問題，這樣得到的決策樹是次優的。也就是說現實中的決策樹學習演算法，一般是逐步構建決策樹，每次選取的特徵是保證最優劃分的，但是這樣的得到的決策樹不一定是所有可能的決策樹中最優的。

學習過程：決策樹學習演算法通常就是遞迴的選擇最優特徵，兵器人根據該特徵對訓練集進行劃分，在劃分之後的訓練集上再進行決策樹學習演算法，如果能夠大致分類，則設定成葉節點，否則繼續選擇最優特徵，知道所有的訓練資料子集都能被正確的分類或者沒有可選的特徵為止。

剪枝：這樣的演算法生成的決策樹，一般對訓練集的分類效果很好、但泛化能力不強，也就是說容易產生過擬合現象。因此需要對構建好的資料集進行剪枝，將樹變得更簡單，因而具有更好的泛化能力。

可以看出決策樹的學習演算法一般包含三個過程：特徵選擇、決策樹生成和決策樹剪枝。

特徵選擇

特徵選擇就是決定用哪個特徵來劃分特徵空間。

訓練集中的樣本會包含很多特徵，在選擇特徵的時候，我們應該考慮選用哪個特徵劃分特徵空間的效果更好。

問題是的關鍵在於我們如何比較哪個特徵的劃分效果更好，也就是如何確定評價指標。

解決思路是這樣的，如果選取某個特徵對資料集劃分後，得到的若干個子集，如果這些子集內的分類效果比選擇其他特徵劃分後的效果都要好，那麼就應該選擇這個特徵。

資訊增益

在介紹資訊增益之前需要先給出熵和條件熵的定義。

在資訊理論中熵（entropy）是表示隨機變數不確定性的度量。
X$X$是一個取有限個值的離散性隨機變數，其概率分佈為

P(X=xi)=pi,1,2,3,...,n$$P(X=x_i)=p_i,1,2,3,...,n$$
則熵定義為
H(X)=−∑i=1npilog(pi)$$H(X)=-\sum _{i=1}^n{p}_{i}log(p_i)$$
隨機變數的不確定行越大，熵越大。

當隨機變數指取兩個值時，例如1，0，即X的分佈為

P(X=1)=p,p(X=0)=1−p,0≤p≤1$$P(X=1)=p,p(X=0)=1-p,0\le p\le 1$$

此時，熵為

H=−plog2p−(1−p)log2(1−p)$$H=-plo{g}_{2}p-(1-p)lo{g}_2(1-p)$$
熵隨p$p$的變化曲線為

當p=0$p=0$或p=1$p=1$時，H(p)=0$H(p)=0$，隨機變數完全沒有不確定性。當p=0.5$p=0.5$時，不確定性最大。

設隨機變數(X,Y)$(X,Y)$，其聯合概率分佈為

P(X=xi,Y=yi)=pij,i=1,2,...,n,j=1,2,...m$$P(X=x_i,Y=y_i)=p_{ij},i=1,2,...,n,j=1,2,...m$$
條件熵H(Y|X)$H(Y|X)$表示在已知隨機變數X的條件下隨機變數Y的不確定性。隨機變數X$X$給定的條件下隨機變數Y打分條件熵（conditional entropy）H(Y|X)$H(Y|X)$, 定義為X$X$給定下Y的條件概率分佈的熵對X$X$的數學期望。
H(Y|X)=∑i=1npiH(Y|X=xi)$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$
這裡，pi=P(X=xi)$p_i=P(X=x_i)$

當熵和條件熵中的而概率分佈由資料估計的倒時，所對應的熵和條件熵分別成為經驗熵（empirical entropy）和經驗條件熵（empirical conditional entropy）

特徵A$A$對訓練集D$D$的資訊增益g(D,A)$g(D,A)$，定義為集合D$D$的經驗熵H(D)$H(D)$和特徵A$A$給定條件下D$D$的經條件熵H(D|A)$H(D|A)$之差。

資訊增益（information gain) 表示得知特徵

相關推薦

詳解決策樹、python實現決策樹

決策樹模型 定義 決策過程 決策樹學習 特徵選擇 資訊增益 計算方法 ID3演算法 決策樹模型 定義 分類決策樹模型是一種描述對例項進行分類的樹形結構。決策樹由節點（Node）和有向邊（directed edge）組成。節

Leetcode 021 合併2個有序連結串列 思路詳解+反思易錯 Python實現

將兩個有序連結串列合併為一個新的有序連結串列並返回。新連結串列是通過拼接給定的兩個連結串列的所有節點組成的。 示例：輸入：1->2->4, 1->3->4 輸出：1->1->2->3->4->4 思路：這道題的思路再明顯不

Leetcode 018 四數之和 思路詳解+反思易錯 Python實現

本人一直在努力地積累Leetcode上用Python實現的題，並且會盡力講清每道題的原理，絕不像其他某些部落格簡略地帶過。如果覺得講的清楚，歡迎關注。給定一個包含 n 個整數的陣列 nums 和一個目標值 target，判斷 nums 中是否存在四個元素 a，b，c 和 d 

Leetcode 022 括號生成 思路詳解+反思易錯 Python實現

本人一直在努力地積累Leetcode上用Python實現的題，並且會盡力講清每道題的原理，絕不像其他某些部落格簡略地帶過。如果覺得講的清楚，歡迎關注。給出 n 代表生成括號的對數，請你寫出一個函式，使其能夠生成所有可能的並且有效的括號組合。例如，給出 n =3，生成結果為：[ "((()))", "(

機器學習經典演算法詳解及Python實現--決策樹（Decision Tree）

（一）認識決策樹 1，決策樹分類原理 決策樹是通過一系列規則對資料進行分類的過程。它提供一種在什麼條件下會得到什麼值的類似規則的方法。決策樹分為分類樹和迴歸樹兩種，分類樹對離散變數做決策樹，迴歸樹對連續變數做決策樹。 近來的調查表明決策樹也是最經常使用的資料探勘演算法，它

【Python】決策樹的python實現

uia bmp say 不知道 times otto outlook lru bgm 【Python】決策樹的python實現 2016-12-08 數據分析師Nieson 1. 決策樹是什麽? 簡單地理解，就是根據一些 feature 進行分類，每個節點提一個問

Python實現決策樹應用之判斷隱形眼鏡的型別

程式碼模組一、DecisionTreePlot # -*- coding:utf-8 -*- __author__ = 'yangxin_ryan' import matplotlib.pyplot as plt """ 定義文字框 和 箭頭格式 【 sawtooth 波浪方框, rou

python實現決策樹程式碼

資料圖片 from sklearn.feature_extraction import DictVectorizer import csv from sklearn import preprocessing from numpy import * import nu

python實現決策樹

# -*- coding: utf-8 -*- """ Created on Thu Sep 27 10:40:47 2018 @author: Administrator """ # de template # Importing the libraries impor

python實現決策樹演算法

1. #!/usr/bin/python3 import numpy as np from sklearn import tree from sklearn.metrics import precision_recall_curve from sklearn.metrics

ID3決策樹（python實現）

決策樹的生成（該函式是一個遞迴的過程）CreateTree 輸入：資料集、特徵  輸出：字典型資料——決策樹  a、判斷是否滿足停止劃分的條件  若當前資料集的屬性值為空，則投票表決當前樣本中最多的類別  若當前所有的樣本類別相同，則返回當前資料的類別。

Python實現決策樹對西瓜進行分類

使用的周志華老師書上的例子，因為習主席講過一切不給資料集的演算法都是耍流氓，所以我這裡先給出資料集： 0,色澤,根蒂,敲聲,紋理,臍部,觸感,密度,含糖率,好瓜 1,青綠,蜷縮,濁響,清晰,凹陷,硬滑,0.697,0.46,是 2,烏黑,蜷縮,沉悶,清晰,凹陷,硬滑

Python實現決策樹並且使用Graphvize視覺化

一、什麼是決策樹（decision tree）——機器學習中的一個重要的分類演算法決策樹是一個類似於資料流程圖的樹結構：其中，每個內部節點表示一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結點代表類或者類的分佈，樹的最頂層是根結點根據天氣情況決定出遊與否的案例二、決策

視覺化決策樹之Python實現

決策樹(Decision Tree）是在已知各種情況發生概率的基礎上，通過構成決策樹來求取淨現值的期望值大於等於零的概率，評價專案風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。一些

python實現決策樹分類（三）

在上一篇文章中，我們已經構建了決策樹，接下來可以使用它用於實際的資料分類。在執行資料分類時，需要決策時以及標籤向量。程式比較測試資料和決策樹上的數值，遞迴執行直到進入葉子節點。 這篇文章主要使用決策樹分類器就行分類，資料集採用UCI資料庫中的紅酒，白酒資料，主要特徵包括12

機器學習之決策樹演算法python實現

一. 理論基礎 1. 特徵選擇 a. 資訊熵 H(D)=−∑i=0kpilogpi b. 條件熵 H(Y|X)=∑i=0npiH(Y|X=xi) c. 資訊增益 I(D,A)=H(D)−H(D|A) d. 資訊增益比

機器學習入門之決策樹（python實現）

本次學習利用MT_Train.csv中所給的資料對MT_Test.csv中的資料進行預測，判斷客戶是否會定期存款。根據所學知識，可採用sklearn中的決策樹等方法進行程式設計。歡迎大家一起討論學習進步。 訓練集和測試集連結如下： 一. 設計思路 1.讀取訓練集和測試集檔

Python實現——決策樹實例(離散數據/香農熵)

遍歷 values 最適 比例 刪除 類型 取值 val creat 決策樹的實現太...繁瑣了。 如果只是接受他的原理的話還好說，但是要想用代碼去實現比較糟心，目前運用了《機器學習實戰》的代碼手打了一遍，決定在這裏一點點摸索一下該工程。 實例的代碼在使用上運用了香農熵，並

100天搞定機器學習|Day23-25 決策樹及Python實現

演算法部分不再細講，之前發過很多： 【算法系列】決策樹 決策樹（Decision Tree）ID3演算法 決策樹（Decision Tree）C4.5演算法 決策樹（Decision Tree）CART演算法 ID3、C4.5、CART三種決策樹的區別 實驗： 匯入需要用到的python庫 import

UML中常見關係詳解（泛化、實現、依賴、關聯、組合、聚合）

UML中類與類，已經類與介面，介面與介面的關係有：泛化（generalization），關聯（association），依賴（dependency），實現（realization）這幾種。   泛化（generalization）關係時指一個