hello,上篇文章實現的是svm

本文實現決策樹演算法。主要是依照周志華那本機器學習的書籍，進行實現。

其中紅色部分我未寫。因為我在選擇屬性劃分的時候，不可能導致資料集為空。所以這部分對我來說沒有必要了

這裡是用字典來儲存樹，開始還準備用list，發現字典要好些，但是我沒有畫圖。如果需要就自己去畫吧，我就不畫了。

具體程式碼如下：

# coding=utf-8
import pprint
import uniout
import math
from collections import Counter

'''
@author :chenyuqing
@mail   :[email protected]
 

'''
from numpy import *
def load_data(path):
    '''
:param path:傳遞路徑,返回樣例的資料和標籤,格式採用矩陣,便於進行矩陣運算
:return:
    '''
data_set=[]
    label_set=[]
    file_object=open(path)
    for line in file_object.readlines():
        lineArr = line.strip().split(',')
        label_set.append(lineArr[-1]) #最後一列預設為標記
 
data_set.append(lineArr)
    #這裡提取三個部分：屬性集、標籤集、資料集
attri_set=array(data_set[0])[1:-1]
    data_set=array(data_set)[1:,1:-1]
    label_set=array(label_set)[1:]
    return data_set,label_set,attri_set
def is_same_class(label_set):
    '''
:param label_set:
:return:#判斷節點中是否是同一類
    '''
if len(unique(label_set))==1
 
:
        return True
return False
def info_entropy(label_set):
    '''
:param data_set:
:return:計算資訊熵,資訊熵越小，純度越高，全部為一個型別，則資訊熵為0
    '''
info_entro=0 #設定初始資訊熵為0
class_set=unique(label_set) #得到有幾類
for item in class_set:
        tempsult=0
for sample_item in label_set:
            if(item==sample_item):
                tempsult=tempsult+1
ratio=float(tempsult)/len(label_set)
        info_entro =info_entro+ratio*math.log(ratio,2)
    info_entro=0-info_entro
    return info_entro
def info_gain(data_set,label_set,attri_set):
    '''
:param data_set:
:param label_set:
:param attri_set:
:return:計算資訊增益, 返回資訊增益最大的那個屬性
    '''
data_set=array(data_set) #必須將list轉換成array
root_info_entro=info_entropy(label_set=label_set) #計算根節點的資訊熵
m,n=shape(data_set)
    result_gain=[]
    for i in range(n): #對給出的資料，每個特徵計算資訊增益
i_gain=0 #設定初始的資訊增益為0
col_data=data_set[:,i] #提取第i列資料
col_attr=unique(col_data) #一個特徵有幾個屬性
for item_attr in col_attr:
            label_set_attr=[] #初始化當前的標籤結果為空
for j in range(len(col_data)):
                if(item_attr==col_data[j]):
                    label_set_attr.append(label_set[j])
            attr_entropy=info_entropy(label_set_attr)
            ratio=float(len(label_set_attr))/len(col_data)
            i_gain=i_gain+ratio*attr_entropy
        i_gain=root_info_entro-i_gain
        result_gain.append(i_gain)
    print result_gain
    return result_gain.index(max(result_gain))
def is_repeat(data_set):
    '''
:param data_set:
:return:判斷陣列是否是重複元素
    '''
data_set=array(data_set) #必須將list轉換成array
m,n=shape(data_set)
    for i in range(n):
        if len(unique(data_set[:,i]))<>1:
            return False
return True
def TreeGenerate(data_set,label_set,attri_set):
    '''
:param data_set:
:param label_set:
:param attri_set:
:return:返回生成的決策樹，採用list來表示決策樹
    '''
data_set=array(data_set) #必須將list轉換成array
if(is_same_class(label_set=label_set)):
        return  list(unique(label_set)) #這裡轉換成list,主要是為了好看
if(len(attri_set)==0 or is_repeat(data_set)):#如果屬性集合為空或者資料集合一致，將節點標記為葉子節點，標記為做多的類
return list(Counter(label_set).keys()[0])
    attr_num=info_gain(data_set,label_set,attri_set)#得到那一列作為最優劃分
col_set=data_set[:,attr_num]
    col_uni=unique(col_set) #最優劃分屬性的每個取值都要新增
print "本次選擇的劃分屬性為：%s"%attri_set[attr_num]
    bestFeatLabel = attri_set[attr_num]
    myTree = {bestFeatLabel:{}}

    m,n =shape(data_set)
    attri_set_temp=attri_set[attri_set<>attri_set[attr_num]] #屬性這一列剔除掉劃分屬性
for item in col_uni:
        data_set_temp=[]
        label_set_temp=[]
        for i in range(m):
            if(item==data_set[i,attr_num]):
                data_set_temp.append([data_set[i][k] for k in range(len(data_set[i])) if k!=attr_num ]) #將這個樣本放入到下一個資料集中,樣本也要把這列刪除
label_set_temp.append(label_set[i])
        myTree[bestFeatLabel][item]=TreeGenerate(data_set=data_set_temp,label_set=label_set_temp,attri_set=attri_set_temp)
    return myTree
if __name__ == '__main__':
    print("------------my desion tree-----------")
    path=u"./西瓜資料集2.0.txt"
data_set,label_set,attri_set=load_data(path=path)
    result=TreeGenerate(data_set=data_set,label_set=label_set,attri_set=attri_set)
    print("-------------the result tree is ------------")
    pprint.pprint(result)

西瓜資料集2.0如下：

編號,色澤,根蒂,敲聲,紋理,臍部,觸感,好瓜
1,青綠,蜷縮,濁響,清晰,凹陷,硬滑,是
2,烏黑,蜷縮,沉悶,清晰,凹陷,硬滑,是
3,烏黑,蜷縮,濁響,清晰,凹陷,硬滑,是
4,青綠,蜷縮,沉悶,清晰,凹陷,硬滑,是
5,淺白,蜷縮,濁響,清晰,凹陷,硬滑,是
6,青綠,稍蜷,濁響,清晰,稍凹,軟粘,是
7,烏黑,稍蜷,濁響,稍糊,稍凹,軟粘,是
8,烏黑,稍蜷,濁響,清晰,稍凹,硬滑,是
9,烏黑,稍蜷,沉悶,稍糊,稍凹,硬滑,否
10,青綠,硬挺,清脆,清晰,平坦,軟粘,否
11,淺白,硬挺,清脆,模糊,平坦,硬滑,否
12,淺白,蜷縮,濁響,模糊,平坦,軟粘,否
13,青綠,稍蜷,濁響,稍糊,凹陷,硬滑,否
14,淺白,稍蜷,沉悶,稍糊,凹陷,硬滑,否
15,烏黑,稍蜷,濁響,清晰,稍凹,軟粘,否
16,淺白,蜷縮,濁響,模糊,平坦,硬滑,否
17,青綠,蜷縮,沉悶,稍糊,稍凹,硬滑,否

得到的結果如下：

-------------the result tree is ------------
{'紋理': {'模糊': ['否'],
                              '清晰': {'根蒂': {'硬挺': ['否'],
                                                                                        '稍蜷': {'色澤': {'烏黑': {'觸感': {'硬滑': ['是'],
                                                                                                                                                                                                            '軟粘': ['否']}},
                                                                                                                                                  '青綠': ['是']}},
                                                                                        '蜷縮': ['是']}},
                              '稍糊': {'觸感': {'硬滑': ['否'],
                                                                                        '軟粘': ['是']}}}}


Process finished with exit code 0