決策樹的構建、展示與決策
阿新 • • 發佈：2018-12-02
1. 概述
上一篇日誌中，我們介紹了兩個決策樹構建演算法 – ID3、C4.5：
決策樹的構建演算法 – ID3 與 C4.5 演算法
本篇日誌我們來看看如何使用這兩個演算法以及其他工具構建和展示我們的決策樹。
2. 使用 C4.5 構建決策樹
有了上一篇日誌中，我們介紹的 ID3 與 C4.5 演算法，遞迴進行計算，選出每一層當前的最佳特徵以及最佳特徵對應的最佳劃分特徵值，我們就可以構建出完整的決策樹了：
流程圖非常清晰，上圖的基本思想是，對於數值型特徵，我們只分為左右兩分支，以防止子樹過多，同時也避免多種分發造成的系統複雜度過高，而對於字串描述性特徵，我們按照特徵取值個數來進行子樹劃分，因為通常來說，數值型特徵取值會非常多，而字串描述性特徵則不會。
2.1. python 程式碼實現
# -*- coding: UTF-8 -*-
# {{{
import operator
from math import log
def createDataSet():
"""
建立資料集
:return: 資料集與特徵集
"""
dataSet = [[706, 'hot', 'sunny', 'high', 'false', 'no'],
[706, 'hot', 'sunny', 'high', 'true', 'no'],
[ 返回了:
{
'日期': {
'>728.0': 'yes',
'<=728.0': {
'寒冷': {
'false': {
'氣溫': {
'high': {
'氣候': {
'hot': {
'天氣': {
'sunny': 'no',
'overcast': 'yes'
}
},
'mild': 'no'
}
},
'normal': 'yes'
}
},
'true': {
'氣溫': {
'high': {
'氣候': {
'hot': 'no',
'mild': {
'天氣': {
'sunny': 'no',
'overcast': 'yes'
}
}
}
},
'normal': {
'氣候': {
'mild': 'yes',
'cool': {
'天氣': {
'sunny': 'no',
'overcast': 'yes'
}
}
}
}
}
}
}
}
}
}
3. 決策樹的視覺化
上面的 json 結果看上去非常不清楚，我們可不可以畫出決策樹的樹結構呢？
我們可以利用 matplotlib 模組來實現樹結構的繪製：
# -*- coding: UTF-8 -*-
# {{{
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
def getNumLeafs(myTree):
"""
獲取決策樹葉子結點的數目
:param myTree: 決策樹
:return: 決策樹的葉子結點的數目
"""
numLeafs = 0 # 初始化葉子
firstStr = list(myTree.keys())[0]
secondDict = myTree[firstStr] # 獲取下一組字典
for key in secondDict.keys():
if type(secondDict[key]).__name__ == 'dict': # 測試該結點是否為字典，如果不是字典，代表此結點為葉子結點
numLeafs += getNumLeafs(secondDict[key])
else:
numLeafs += 1
return numLeafs
def getTreeDepth(myTree):
"""
獲取決策樹的層數
:param myTree: 決策樹
:return: 決策樹的層數
"""
maxDepth = 0 # 初始化決策樹深度
firstStr = next(iter(
myTree)) # python3中myTree.keys()返回的是dict_keys,不在是list,所以不能使用myTree.keys()[0]的方法獲取結點屬性，可以使用list(myTree.keys())[0]
secondDict = myTree[firstStr] # 獲取下一個字典
for key in secondDict.keys():
if type(secondDict[key]).__name__ == 'dict': # 測試該結點是否為字典，如果不是字典，代表此結點為葉子結點
thisDepth = 1 + getTreeDepth(secondDict[key])
else:
thisDepth = 1
if thisDepth > maxDepth: maxDepth = thisDepth # 更新層數
return maxDepth
def plotNode(nodeTxt, centerPt, parentPt, nodeType):
"""
繪製節點
:param nodeTxt: 結點名
:param centerPt: 文字位置
:param parentPt: 標註的箭頭位置
:param nodeType: 結點格式
:return:
"""
arrow_args = dict(arrowstyle="<-") # 定義箭頭格式
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14) # 設定中文字型
createPlot.ax1.annotate(nodeTxt, xy=parentPt, xycoords='axes fraction', # 繪製結點
xytext=centerPt, textcoords='axes fraction',
va="center", ha="center", bbox=nodeType, arrowprops=arrow_args, FontProperties=font)
def plotMidText(cntrPt, parentPt, txtString):
"""
標註有向邊屬性值
:param cntrPt: 當前節點
:param parentPt: 父節點
:param txtString: 標註內容
:return:
"""
xMid = (parentPt[0] - cntrPt[0]) / 2.0 + cntrPt[0] # 計算標註位置
yMid = (parentPt[1] - cntrPt[1]) / 2.0 + cntrPt[1]
createPlot.ax1.text(xMid, yMid, txtString, va="center", ha="center", rotation=30)
def plotTree(myTree, parentPt, nodeTxt):
"""
繪製決策樹
:param myTree: 決策數字典
:param parentPt: 父節點
:param nodeTxt: 節點名
:return:
"""
decisionNode = dict(boxstyle="sawtooth", fc="0.8") # 設定結點格式
leafNode = dict(boxstyle="round4", fc="0.8") # 設定葉結點格式
numLeafs = getNumLeafs(myTree) # 獲取決策樹葉結點數目，決定了樹的寬度
firstStr = next(iter(myTree)) # 下個字典
cntrPt = (plotTree.xOff + (1.0 + float(numLeafs)) / 2.0 / plotTree.totalW, plotTree.yOff) # 中心位置
plotMidText(cntrPt, parentPt, nodeTxt) # 標註有向邊屬性值
plotNode(firstStr, cntrPt, parentPt, decisionNode) # 繪製結點
secondDict = myTree[firstStr] # 下一個字典，也就是繼續繪製子結點
plotTree.yOff = plotTree.yOff - 1.0