ID3_decision_tree.m

%% 使用ID3決策樹演算法預測銷量高低
clear ;

%% 資料預處理
disp('正在進行資料預處理...');
[matrix,attributes_label,attributes] =  id3_preprocess();

%% 構造ID3決策樹，其中id3()為自定義函式
disp('資料預處理完成，正在進行構造樹...');
tree = id3(matrix,attributes_label,attributes);

%% 列印並畫決策樹
[nodeids,nodevalues] = print_tree(tree);
tree_plot(nodeids,nodevalues);

disp('ID3演算法構建決策樹完成！'
 
);

id3_preprocess.m

function [ matrix,attributes,activeAttributes ] = id3_preprocess(  )
%% ID3演算法資料預處理，把字串轉換為0,1編碼

% 輸出引數：
% matrix： 轉換後的0,1矩陣；
% attributes: 屬性和Label；
% activeAttributes : 屬性向量，全1；

%% 讀取資料
txt = {  '序號'    '天氣'    '是否週末'    '是否有促銷'    '銷量'
        ''        '壞'      '是'          '是'
 
            '高'  
        ''        '壞'      '是'          '是'            '高'  
        ''        '壞'      '是'          '是'            '高'  
        ''        '壞'      '否'          '是'            '高'  
        ''        '壞'      '是'          '是'            '高'  
        ''        '壞'      '否'          '是'
 
            '高'  
        ''        '壞'      '是'          '否'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '否'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '壞'      '是'          '是'            '低'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '否'            '高'  
        ''        '壞'      '否'          '否'            '低'  
        ''        '壞'      '否'          '是'            '低'  
        ''        '壞'      '否'          '是'            '低'  
        ''        '壞'      '否'          '是'            '低'  
        ''        '壞'      '否'          '否'            '低'  
        ''        '壞'      '是'          '否'            '低'  
        ''        '好'      '否'          '是'            '低'  
        ''        '好'      '否'          '是'            '低'  
        ''        '壞'      '否'          '否'            '低'  
        ''        '壞'      '否'          '否'            '低'  
        ''        '好'      '否'          '否'            '低'  
        ''        '壞'      '是'          '否'            '低'  
        ''        '好'      '否'          '是'            '低'  
        ''        '好'      '否'          '否'            '低'  
        ''        '好'      '否'          '否'            '低'  }
attributes=txt(1,2:end);
activeAttributes = ones(1,length(attributes)-1);
data = txt(2:end,2:end);

%% 針對每列資料進行轉換
[rows,cols] = size(data);
matrix = zeros(rows,cols);
for j=1:cols
    matrix(:,j) = cellfun(@trans2onezero,data(:,j));
end

end

function flag = trans2onezero(data)
    if strcmp(data,'壞') ||strcmp(data,'否')...
        ||strcmp(data,'低')
        flag =0;
        return ;
    end
    flag =1;
end

id3.m

function [ tree ] = id3( examples, attributes, activeAttributes )
%% ID3 演算法 ，構建ID3決策樹
    ...參考：https://github.com/gwheaton/ID3-Decision-Tree

% 輸入引數：
% example: 輸入0、1矩陣；
% attributes: 屬性值，含有Label；
% activeAttributes: 活躍的屬性值；-1,1向量，1表示活躍；

% 輸出引數：
% tree：構建的決策樹；

%% 提供的資料為空，則報異常
if (isempty(examples));
    error('必須提供資料！');
end

% 常量
numberAttributes = length(activeAttributes);
numberExamples = length(examples(:,1));

% 建立樹節點
tree = struct('value', 'null', 'left', 'null', 'right', 'null');

% 如果最後一列全部為1，則返回“true”
lastColumnSum = sum(examples(:, numberAttributes + 1));

if (lastColumnSum == numberExamples);
    tree.value = 'true';
    return
end
% 如果最後一列全部為0，則返回“false”
if (lastColumnSum == 0);
    tree.value = 'false';
    return
end

% 如果活躍的屬性為空，則返回label最多的屬性值
if (sum(activeAttributes) == 0);
    if (lastColumnSum >= numberExamples / 2);
        tree.value = 'true';
    else
        tree.value = 'false';
    end
    return
end

%% 計算當前屬性的熵
p1 = lastColumnSum / numberExamples;
if (p1 == 0);
    p1_eq = 0;
else
    p1_eq = -1*p1*log2(p1);
end
p0 = (numberExamples - lastColumnSum) / numberExamples;
if (p0 == 0);
    p0_eq = 0;
else
    p0_eq = -1*p0*log2(p0);
end
currentEntropy = p1_eq + p0_eq;

%% 尋找最大增益
gains = -1*ones(1,numberAttributes); % 初始化增益

for i=1:numberAttributes;
    if (activeAttributes(i)) % 該屬性仍處於活躍狀態，對其更新
        s0 = 0; s0_and_true = 0;
        s1 = 0; s1_and_true = 0;
        for j=1:numberExamples;
            if (examples(j,i)); 
                s1 = s1 + 1;
                if (examples(j, numberAttributes + 1)); 
                    s1_and_true = s1_and_true + 1;
                end
            else
                s0 = s0 + 1;
                if (examples(j, numberAttributes + 1)); 
                    s0_and_true = s0_and_true + 1;
                end
            end
        end

        % 熵 S(v=1)
        if (~s1);
            p1 = 0;
        else
            p1 = (s1_and_true / s1); 
        end
        if (p1 == 0);
            p1_eq = 0;
        else
            p1_eq = -1*(p1)*log2(p1);
        end
        if (~s1);
            p0 = 0;
        else
            p0 = ((s1 - s1_and_true) / s1);
        end
        if (p0 == 0);
            p0_eq = 0;
        else
            p0_eq = -1*(p0)*log2(p0);
        end
        entropy_s1 = p1_eq + p0_eq;

        % 熵 S(v=0)
        if (~s0);
            p1 = 0;
        else
            p1 = (s0_and_true / s0); 
        end
        if (p1 == 0);
            p1_eq = 0;
        else
            p1_eq = -1*(p1)*log2(p1);
        end
        if (~s0);
            p0 = 0;
        else
            p0 = ((s0 - s0_and_true) / s0);
        end
        if (p0 == 0);
            p0_eq = 0;
        else
            p0_eq = -1*(p0)*log2(p0);
        end
        entropy_s0 = p1_eq + p0_eq;

        gains(i) = currentEntropy - ((s1/numberExamples)*entropy_s1) - ((s0/numberExamples)*entropy_s0);
    end
end

% 選出最大增益
[~, bestAttribute] = max(gains);
% 設定相應值
tree.value = attributes{bestAttribute};
% 去活躍狀態
activeAttributes(bestAttribute) = 0;

% 根據bestAttribute把資料進行分組
examples_0= examples(examples(:,bestAttribute)==0,:);
examples_1= examples(examples(:,bestAttribute)==1,:);

% 當 value = false or 0, 左分支
if (isempty(examples_0));
    leaf = struct('value', 'null', 'left', 'null', 'right', 'null');
    if (lastColumnSum >= numberExamples / 2); % for matrix examples
        leaf.value = 'true';
    else
        leaf.value = 'false';
    end
    tree.left = leaf;
else
    % 遞迴
    tree.left = id3(examples_0, attributes, activeAttributes);
end
% 當 value = true or 1, 右分支
if (isempty(examples_1));
    leaf = struct('value', 'null', 'left', 'null', 'right', 'null');
    if (lastColumnSum >= numberExamples / 2); 
        leaf.value = 'true';
    else
        leaf.value = 'false';
    end
    tree.right = leaf;
else
    % 遞迴
    tree.right = id3(examples_1, attributes, activeAttributes);
end

% 返回
return
end