一、決策樹是什麼？

　　顧名思義，決策樹是由一個個“決策”組成的樹，學過資料結構的同學對樹一定不陌生。決策樹中，結點分為兩種，放“決策依據”的是非葉結點，放“決策結果”的是葉結點。
　　那麼決策是什麼呢？很好理解，和人一樣，決策就是對於一個問題，有多個答案，選擇答案的過程就是決策。在決策樹中，通常有兩種型別的問題，一種是離散值的問題，一種是連續值的問題。拿選一個好西瓜來比喻，西瓜的紋路是清晰的、稍稍模糊的、還是很模糊的，這是一個離散值的問題，西瓜的密度（質量與體積的比值）是個連續值的問題。決策樹就是由一個個的問題與答案生成的。　　

　　決策樹實際上是一個if-then規則的集合。還是拿西瓜問題舉例，拿到一個西瓜，先判斷它的紋路，如果很模糊，就認為這不是好瓜，如果它清晰，就認為它是一個好瓜，如果它稍稍模糊，就考慮它的密度，密度大於某個值，就認為它是好瓜，否則就是壞瓜。

二、如何生成決策樹？

1.經典的ID3演算法

　　熵是描述資訊的不確定度的，是隨機變數不確定度的度量。公式是這樣的：

H(D)=−∑Kk=1|Ck||D|log2|Ck||D|$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$

　　其中， |Ck|$|C_k|$ 是 D$D$ 中屬於 Ck$C_k$ 類的樣本數， |D|$|D|$ 是樣本總數。熵越大，資訊的不確定度越大，資訊越“混亂”，越不符合決策樹分類的需求。所以，我們奔著減小熵的目標來選擇分類的依據和分類的結果。
　　為了衡量熵的變化，我們引入資訊增益的概念。公式是這樣的：

H(D|A)=−∑Ni=1|Di|D∑Kk=

1|Dik||Di|log2|Dik||Di|$H(D|A)=-\sum _{i=1}^N\frac{|D_i|}{D}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}$

g(D,A)=H(D)−H(D|A)$g(D,A)=H(D)-H(D|A)$

　　其中，根據特徵A將樣本劃分為N個子集，D1,D2,⋯,DN$D_1,D_2,\cdots ,D_N$， |Di|$|D_i|$ 是子集 Di$D_i$ 的樣本數，|Dik|$|D_{ik}|$ 是子集中屬於 Ck$C_k$ 類的樣本數
　　資訊增益的含義就是在選定特徵A之後，資料的不確定度的下降。資訊增益越大，意味著這個特徵分類的能力越強，我們就要優先選擇這個特徵。　　
　　選擇資訊增益最大的特徵，根據它的屬性劃分該結點。如果一個子結點中只有一個分類的樣本

，那麼這個結點就不需要再分，這個葉結點的類別就是這個分類的類別；如果所有的特徵都已經參與過分類，那麼決策樹也不需要往下生成，樣本數最多的類別就是葉結點的類別。

ID3演算法的侷限性

（1）不支援連續特徵
（2）採用資訊增益大的特徵優先建立決策樹的節點。在相同條件下，取值比較多的特徵比取值少的特徵資訊增益大。
（3）不支援缺失值處理
（4）沒有應對過擬合的策略

2. 改進的C4.5演算法

C4.5與ID3針對ID3的四個侷限性進行了改進

連續特徵：C4.5的思路是將連續的特徵離散化。比如m個樣本的連續特徵A的取值有m個，從小到大排列為a1,a2,⋯,am$a_1,a_2,\cdots ,a_m$ ,取相鄰兩個取值的平均值作為劃分點，一共有m-1個劃分點，分別計算以這些點作為二元分類點時的資訊增益比。要注意的是，與離散屬性不同的是，如果當前節點為連續屬性，則該屬性後面還可以參與子節點的產生選擇過程。

資訊增益：由於資訊增益偏向於取值比較多的特徵，所以C4.5引入了資訊增益比,n是特徵A的取值個數

gR(D,A)=g(D,A)HA(D)$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$

HA(D)=−∑ni=1|Di||D|log2|Di

相關推薦

帶你搞懂決策樹演算法原理

一、決策樹是什麼？ 　　顧名思義，決策樹是由一個個“決策”組成的樹，學過資料結構的同學對樹一定不陌生。決策樹中，結點分為兩種，放“決策依據”的是非葉結點，放“決策結果”的是葉結點。 　　那麼決策是什麼呢？很好理解，和人一樣，決策就是對於一個問題，有多個答案，

帶你搞懂感知機演算法原理

很多人可能聽過大名鼎鼎的SVM，這裡介紹的正是SVM演算法的基礎——感知機，感知機是一種適用於二類線性分類問題的演算法 原理 問題的輸入與輸出： X = {x1,x2,...,xnx1,x2,...,xn} Y = {+1, -1} 模型

帶你搞懂支援向量機SVM演算法原理

一、原理 1. 線性可分支援向量機 問題的輸入輸出 X = {x1,x2,...,xnx1,x2,...,xn} Y = {+1, -1} 模型： 感知機的目的是找到一個可以正確分類資料的超平面S：ω⋅x+b=0ω⋅x+b=0, 得到感知機

帶你搞懂樸素貝葉斯演算法原理

一、樸素貝葉斯是什麼，怎麼用？ 貝葉斯定理：樸素貝葉斯定理體現了後驗概率 P(y|x)P(y|x) 、先驗概率 P(y)P(y) 、條件概率 P(x|y)P(x|y) 之間的關係： P(y|x)=P(x,y)P(x)=P(x|y)⋅P(y)

帶你搞懂樸素貝葉斯分類演算法

帶你搞懂樸素貝葉斯分類算 貝葉斯分類是一類分類演算法的總稱，這類演算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。而樸素樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。這篇文章我儘可能用直白的話語總結一下我們學習會上講到的樸素貝葉斯分類演算法，希望有利於他人理解。 1  分類問題綜述

機器學習-帶你搞懂樸素貝葉斯分類演算法

帶你搞懂樸素貝葉斯分類演算法 你搞懂樸素貝葉斯分類算 貝葉斯分類是一類分類演算法的總稱，這類演算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。而樸素樸素貝葉斯分類是貝葉斯分類中最簡單，也是常見的一種分類方法。這篇文章我儘可能用直白的話語總結一下我們學習會上講到的樸素貝葉斯分

區塊鏈入門-帶你搞懂區塊鏈-熊麗兵-專題視訊課程

區塊鏈入門-帶你搞懂區塊鏈—221人已學習 課程介紹         區塊鏈已火遍全球，很多人都想要能夠清晰的瞭解什麼是區塊鏈以及區塊鏈的價值在哪裡，本課程將從入門開始，為你講解區塊鏈技術核心概念與

小白自學機器學習之一文讀懂決策樹演算法詳解

1.概念準備 1.1 遞迴與迭代 迭代是人，遞迴是神。 區別 定義 優缺點 遞迴（recursion） 程式呼叫自身

決策樹演算法原理及JAVA實現(ID3)

package sequence.machinelearning.decisiontree.myid3; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.FileWri

決策樹演算法原理(上)

　　　　決策樹演算法在機器學習中算是很經典的一個算法系列了。它既可以作為分類演算法，也可以作為迴歸演算法，同時也特別適合整合學習比如隨機森林。本文就對決策樹演算法原理做一個總結，上篇對ID3， C4.5的演算法思想做了總結，下篇重點對CART演算法做一個詳細的介紹。選擇CART做重點介紹的原因是scikit-

決策樹演算法原理(下)

　　　　在決策樹演算法原理(上)這篇裡，我們講到了決策樹裡ID3演算法，和ID3演算法的改進版C4.5演算法。對於C4.5演算法，我們也提到了它的不足，比如模型是用較為複雜的熵來度量，使用了相對較為複雜的多叉樹，只能處理分類不能處理迴歸等。對於這些問題， CART演算法大部分做了改進。CART演算法也就是我們

一步步教你輕鬆學決策樹演算法

(白寧超 2018年8月27日16:28:53) 導讀：決策樹演算法是一種基本的分類與迴歸方法，是最經常使用的演算法之一。決策樹模型呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是基於規則的集合。本文首先介紹決策樹定義、工作原理、演算法流程、優缺點等，然後結合案例進行分析。（本文

決策樹演算法原理 與 Python實現

轉自： https://blog.csdn.net/huahuazhu/article/details/73167610?locationNum=2&fps=1    ###########################################

決策樹演算法原理及實現

歡迎大家檢視實現的完整程式碼。。。 決策樹模型 分類決策樹模型是一種描述對例項進行分類的樹形結構。決策樹由結點和有向邊組成。結點有兩種型別：內部節點和葉節點，內部節點表示一個特徵或屬性，葉節點表示一個分類類別。 分類的時候，從根節點開始，按照某種策略對

寫程式學ML：決策樹演算法原理及實現（四）

[題外話]近期申請了一個微信公眾號：平凡程式人生。有興趣的朋友可以關注，那裡將會涉及更多更新機器學習、OpenCL+OpenCV以及影象處理方面的文章。 2.3   決策樹的測試 書中使用隱形眼鏡資料集對決策樹進行了測試。 建立測試檔案contactLenses4Deci

ID3決策樹演算法原理及C++實現(其中程式碼轉自別人的部落格)

分類是資料探勘中十分重要的組成部分. 分類作為一種無監督學習方式被廣泛的使用. 之前關於"資料探勘中十大經典演算法"中,基於ID3核心思想的分類演算法 C4.5榜上有名.所以不難看出ID3在資料分類中是多麼的重要了. ID3又稱為決策樹演算法,雖然現在廣義的決策樹演

一篇文章帶你搞懂JS對象的自我銷毀

log 還要 很快 實例化 webp dom操作 angular listener css 在日常的JS組件開發中，往往會有一些較為復雜的DOM操作及事件監聽，尤其是在處理UI層面的widgets時候更為明顯。常常會花很多精力在對象的init上，而當組件需要被移除時則僅僅是

一文帶你搞懂什麼是測試開發！

01  開始前說點什麼 需要說明的是，原文發表於作者的公眾號中，文章篇幅雖長，但內容樸實、且能幫助讀者進一步理解測試開發工作，請讀者耐心品完~    1. 自我反省       公眾號開通了也有兩年多了，除了剛開通的那段時間發文比

React16原始碼解讀：開篇帶你搞懂幾個面試考點

引言 如今，主流的前端框架React，Vue和Angular在前端領域已成三足鼎立之勢，基於前端技術棧的發展現狀，大大小小的公司或多或少也會使用其中某一項或者多項技術棧，那麼掌握並熟練使用其中至少一種也成為了前端人員必不可少的技能飯碗。當然，框架的部分實現細節也常成為面試中的考察要點，因此，一方面為了應付面試

五分鐘學Java：一篇文章帶你搞懂spring全家桶套餐

原創宣告 本文首發於微信公眾號【程式設計師黃小斜】 本文作者：黃小斜 轉載請務必在文章開頭註明出處和作者。 本文思維導圖 什麼是Spring，為什麼你要學習spring？ 你第一次接觸spring框架是在什麼時候？相信很多人和我一樣，第一次瞭解spring都不是做專案的時候用到，而是在網上看到或者是聽到過