C4.5詳解

第六次寫部落格，本人數學基礎不是太好，如果有幸能得到讀者指正，感激不盡，希望能借此機會向大家學習。這一篇內容來自於各種書籍、網上的資料，以及自己的一些見解。關於決策樹的一些基本概念在這篇部落格《Decision Tree簡介（決策樹演算法族的開篇）》中有相關介紹。

預備知識：

這一部分主要是談一談幾種基於資訊理論的結點劃分方法，包括資訊熵（InformaticaEntropy）、資訊增益（InformaticaGain）與增益率（GainRatio）的簡要介紹。

資訊熵（InformaticaEntropy）

　　“資訊熵”是度量樣本集合純度最常用的一種指標，假設當前樣本集

D$D$中第k$k$類樣本所佔比例為pk(k=1,2,...,|y|)$p_k\left(k=1,2,...,|y|\right)$，其中|y|$|y|$為樣本集的總類別數量，則D$D$的資訊熵定義為

資訊熵Ent(D)$Ent\left(D\right)$越小，則D$D$的純度越高，需要注意的是由於pk⩽1$p_k⩽1$，因此Ent(D)⩾0$Ent\left(D\right)⩾0$。

資訊增益（InformaticaGain）

　　假定某一離散屬性a$a$有V$V$個可能的取值，分別為{a1,a2,...,aV}$\{a^1,a^2,...,a^V\}$，若使用a$a$來對樣本集D$D$進行劃分，則會產生V$V$個分支結點。其中第v$v$個分支結點包含了D$D$中所有在屬性a$a$上取值為av$a^v$的樣本，這些樣本的集合記為Dv$D^{}$

v。可以根據式（1）對Dv$D^v$的資訊熵Ent(Dv)$Ent\left(D^v\right)$進行計算，再考慮到不同的分支結點所包含的樣本數不同，因此給每個分支結點的資訊熵賦予權重|Dv|/|D|$|D^v|/|D|$，即樣本數越多的分支結點的影響越大，於是可以計算出使用屬性a$a$作為劃分屬性，對樣本集D$D$進行劃分後所得的“資訊增益”（InformaticaGain）

資訊增益Gain(D,a)$Gain\left(D,a\right)$越大，即劃分後的子集合的加權資訊熵越小，則使用屬性a$a$來進行劃分所得到的“純度提升”越大。

增益率（GainRatio）

　　實際上，將資訊增益作為準則存在重要的問題，即他對可能的取值數量V$V$較大的屬性（e.g. 樣本編號）有所偏好，為了解決這一問題，某些演算法不直接採用資訊增益做為準則，而是使用“增益率”（GainRatio）來選擇最優劃分屬性，他的定義為

　　上式中，

稱為屬性a$a$的固有值（Intrinsic Value）。與資訊熵的定義類似，屬性a$a$的可能的取值數量V$V$越大，其固有值越大。

推導過程

主要分為三部分：如何處理連續值、如何處理缺失值以及劃分屬性的選擇標準。

處理連續值

　　當某一屬性的可取值數目不可數（連續值）或數目很多（離散值）時，可以採用離散化對這種情況進行處理。對於連續屬性，最簡單的離散化方法就是“二分法”（bi-partition），對於離散屬性還可以採用“n分法”（n-partition），即將可取值分成n類。
1. 連續屬性的“二分法”
　　給定資料集D$D$和連續屬性a$a$，假定a$a$在D$D$上出現了n$n$個不同的取值，將這些值從小到大進行排列，排列後的可取值集合記為{a1,a2,...,an}$\{a^1,a^2,...,a^n\}$，之後基於劃分點t$t$可將資料集D$D$分為兩個子集D+t$D_t^{+}$和D−t$D_t^{-}$，他們分別包含那些在屬性 上取值大於t$t$的樣本和不大於t$t$的樣本。對於連續屬性a$a$，可以選取可取值集合中相臨近兩點的均值作為候選劃分點，使用這種方法產生的候選劃分點集的大小為n−1$n-1$，候選集合為

　　之後對候選劃分點集中的每個候選點進行考察，選擇使資料集純度提升最高的那個作為劃分點，具體方式如下所示

易知，

相關推薦

C4.5詳解（附帶資訊理論介紹）

C4.5詳解 第六次寫部落格，本人數學基礎不是太好，如果有幸能得到讀者指正，感激不盡，希望能借此機會向大家學習。這一篇內容來自於各種書籍、網上的資料，以及自己的一些見解。關於決策樹的一些基本概念在這篇部落格《Decision Tree簡介（決策樹演算法族

針對初學者的A*演算法入門詳解（附帶Java原始碼）

      英文題目，漢語內容，有點掛羊頭賣狗肉的嫌疑，不過請不要打擊我這顆想學好英語的心。當了班主任我才發現大一18本書，11本是英語的，能多用兩句英語就多用，個人認為這樣也是積累的一種方法。      Thanks open source pioneers dedicated to computer s

Word2Vec演算法詳解（相關背景介紹）

本節開始將介紹幾種比較前言的NLP演算法，主要是和神經網路進行結合的，和深度學習進行結合的演算法原理和思想，前面的NLP演算法都是傳統的經典NLP演算法思想，都沒有涉及到實戰方面的，實戰方面的我計劃明年開始進行，所以這個系列的都是理論，本人一直很注重理論方面的學習，因為只有搞懂演算法的原理你才有

【 專欄 】- JavaEE-知識點詳解（附帶大量練習題）

JavaEE-知識點詳解（附帶大量練習題） JavaSE、各大框架。其中JavaSE是我們學習Java最基礎，最重要的一部分，在這裡我將給出我的學習經驗，希望可以給大家帶來些許幫助。其中包含了：基礎知識、面向物件、高階特性、列舉&

Subspace Clustering詳解（附帶CLIQUE演算法詳解）

Subspace Clustering詳解 第二十四次寫部落格，本人數學基礎不是太好，如果有幸能得到讀者指正，感激不盡，希望能借此機會向大家學習。這一篇作為密度聚類演算法族的第三篇，主要是介紹一種用來發現子空間中的簇的演算法——Subspace Cluster

Feature Selection詳解（附帶Relief、Relief-F、LVM詳解）（二）

Feature Selection詳解 第二十六次寫部落格，本人數學基礎不是太好，如果有幸能得到讀者指正，感激不盡，希望能借此機會向大家學習。這一篇承接上一篇《Feature Selection詳解（附帶Relief、Relief-F、LVM詳解）（一）》的內容，仍然是針對特

Feature Selection詳解（附帶Relief、Relief-F、LVM詳解）（一）

Feature Selection詳解 第二十五次寫部落格，本人數學基礎不是太好，如果有幸能得到讀者指正，感激不盡，希望能借此機會向大家學習。這一篇主要是針對特徵選擇問題的幾種常見方法進行闡述，並介紹其中幾種比較經典的特徵選擇演算法（Relief、Relief-F、LVM）。

決策樹ID3;C4.5詳解和python實現與R語言實現比較

本文網址：http://blog.csdn.net/crystal_tyan/article/details/42130851（請不要在採集站閱讀） 把決策樹研究一下，找來了一些自己覺得還可以的資料： 分類樹（決策樹）是一種十分常用的分類方法。他是一種監管學習，所謂監管

史上最簡單MySQL教程詳解（進階篇）之儲存引擎介紹及預設引擎設定

什麼是儲存引擎？ 與其他資料庫例如Oracle 和SQL Server等資料庫中只有一種儲存引擎不同的是，MySQL有一個被稱為“Pluggable Storage Engine Architecture”(可替換儲存引擎架構)的特性，也就意味著My

[轉載]SourceTree安裝教程和GitLab配置詳解（附帶報錯解決辦法）

連結：http://www.cnblogs.com/Lam7/p/6004737.html 補充：1.沒有vpn的支援，atlassian只註冊不了的，就算打得開頁面也沒辦法進行人機驗證。 2.安裝git，直接進行下一步，中間可以不用操作 3.安裝sour

Opencv249和Opencv3.0以上的 SolvePnp函式詳解（附帶程式、算例）

最近要做一個演算法，用到了位姿估計。位姿估計的使用範圍非常廣泛。主要解決的問題為：在給出2D-3D若干點對以及相片的內參資訊，如何求得相機中心在世界座標系下的座標以及相機的方向（旋轉矩陣）。為此筆者做了大量研究，看了許多主流的文章，也是用了許多相關的函式庫。主要有OpenM

Bayes Belief Networks詳解（附帶詳細公式推導）

Bayes Belief Networks詳解 第十次寫部落格，本人數學基礎不是太好，如果有幸能得到讀者指正，感激不盡，希望能借此機會向大家學習。這篇文章主要分為一下三部分來介紹貝葉斯信念網（BayesBeliefNetworks）：BNN的簡要介紹、如

windows系統平臺下的PE檔案格式和資料定義詳解（附帶詳細高清大圖）

PE（Portable Executable）格式，是微軟Win32環境可移植可執行檔案(如exe、dll、vxd、sys和vdm等)的標準檔案格式。 PE格式衍生於早期建立在VAX(R)VMS(R)上的COFF(Common Object File Format)檔案格式

Windows下VTK6.0.0安裝詳解（CMake使用說明）

操作 工具 generate 其中 con htm 目錄下的文件 ima 新建 操作系統：Windows7，用到工具：Visual studio、CMake。 1.準備工作 VTK下載： 下載最新VTK穩定版（6.0.0，截至2013年7月）http://www.vtk

HTTP協議詳解（真的很經典）

cnp 運用 web應用 media 服務器端 所有 長度 request bad 轉載：http://e7kan.com/?p=264& 引言 HTTP是一個屬於應用層的面向對象的協議，由於其簡捷、快速的方式，適用於分布式超媒體信息系統。它於1990年提出，經過幾

PCA （主成分分析）詳解 （寫給初學者） 結合matlab（轉載）

整數 變量 行為 保持 sum osc 入參 函數 data 一、簡介 PCA（Principal Components Analysis）即主成分分析，是圖像處理中經常用到的降維方法，大家知道，我們在處理有關數字圖像處理方面的問題時，比如經常用的圖像的查詢

HTTP協議狀態碼詳解（HTTP Status Code）

找不到 work for 條件 暫時 ocs 有效 網絡設備 不同 使用ASP.NET/PHP/JSP 或者javascript都會用到http的不同狀態，一些常見的狀態碼為： 200 – 服務器成功返回網頁 404 – 請求的網頁不存在 503 – 服務不可用 1x

C#漢字轉換拼音技術詳解（高性能）

rim none pie 存在 asp pub net 如果 pinyin public static class ChineseToPinYin { private static readonly Dictionary<<span class=

TestNG詳解（單元測試框架）

參數 http () 彈出 內容 name led 大小 2.4 一、TestNG的優點 　　1.1 漂亮的HTML格式測試報告 　　1.2 支持並發測試 　　1.3 參數化測試更簡單 　　1.4 支持輸出日誌 　　1.5 支持更多功能的註解 二、編寫TestNG測試

php文件上傳原理詳解（含源碼）

輸入數據 最大值 cut 產生 har 默認值 接受 上傳文件 tle 1、文件上傳原理 　　將客戶端的文件上傳到服務器，再將服務器的臨時文件上傳到指定目錄 2、客戶端配置 提交表單 表單的發送方式為post 添加enctype="multipart/form-data"