2. 程式人生 > >簡單易學的機器學習演算法——分類迴歸樹CART

簡單易學的機器學習演算法——分類迴歸樹CART

阿新 • • 發佈：2019-02-11

引言

    分類迴歸樹（Classification and Regression Tree，CART）是一種典型的決策樹演算法，CART演算法不僅可以應用於分類問題，而且可以用於迴歸問題。

一、樹迴歸的概念

    對於一般的線性迴歸，其擬合的模型是基於全部的資料集。這種全域性的資料建模對於一些複雜的資料來說，其建模的難度也會很大。其後，我們有了區域性加權線性迴歸，其只利用資料點周圍的區域性資料進行建模，這樣就簡化了建模的難度，提高了模型的準確性。樹迴歸也是一種區域性建模的方法，其通過構建決策點將資料切分，在切分後的區域性資料集上做迴歸操作。    在博文“簡單易學的機器學習演算法——決策樹之ID3演算法
”中介紹了ID3演算法的思想，ID3演算法主要是用來處理離散性的問題，然而對於連續型的問題，ID3演算法就無能無力了。其次ID3演算法的分支也屬於多分支，即通過一個特徵可以分出很多的子資料集。分類迴歸樹(Classification and Regression Tree, CART)是一種樹構建演算法，這種演算法既可以處理離散型的問題，也可以處理連續型的問題。在處理連續型問題時，主要通過使用二元切分來處理連續型變數，即特徵值大於某個給定的值就走左子樹，或者就走右子樹。

二、迴歸樹的分類

    在構建迴歸樹時，主要有兩種不同的樹：
  • 迴歸樹(Regression Tree)，其每個葉節點是單個值
  • 模型樹(Model Tree)，其每個葉節點是一個線性方程

三、基於CART演算法的迴歸樹

    在進行樹的左右子樹劃分時，有一個很重要的量，即給定的值，特徵值大於這個給定的值的屬於一個子樹，小於這個給定的值的屬於另一個子樹。這個給定的值的選取的原則是使得劃分後的子樹中的“混亂程度”降低。如何定義這個混亂程度是設計CART演算法的一個關鍵的地方。在ID3演算法中我們使用的資訊熵和資訊增益的概念。資訊熵就代表了資料集的紊亂程度。對於連續型的問題，我們可以使用方差的概念來表達混亂程度，方差越大，越紊亂。所以我們要找到使得切分之後的方差最小的劃分方式。

四、實驗模擬

    對於資料集1，資料集2，我們分別使用CART演算法構建迴歸樹
(資料集1)
(資料集2)從圖上我們可以看出可以將資料集劃分成兩個子樹，即左右子樹，並分別在左右子樹上做線性迴歸。同樣的道理，下圖可以劃分為5個子樹。

結果為：


(資料集1的結果)
(資料集2的結果)

MATLAB程式碼：

主程式
%% CART

clear all
clc

% 匯入資料集
%dataSet = load('ex00.txt');
dataSet = load('ex0.txt');

% 畫圖1
% plot(dataSet(:,1),dataSet(:,2),'.');
% axis([-0.2,1.2,-1.0,2.0]);

% 畫圖2
% plot(dataSet(:,2),dataSet(:,3),'.');
% axis([-0.2,1.2,-1.0,5.0]);


createTree(dataSet,1,4);

構建子樹
function [ retTree ] = createTree( dataSet,tolS,tolN )
    [feat,val] = chooseBestSplit(dataSet, tolS, tolN);
    
    disp(['feat:', num2str(feat)]);
    disp(['value:', num2str(val)]);
    if feat == 0
        return;
    end
    
    [lSet,rSet] = binSplitDataSet(dataSet, feat, val);
    disp('left:');
    createTree( lSet,tolS,tolN );
    disp('right:');
    createTree( rSet,tolS,tolN );
end

最佳劃分
function [ Index, Value ] = chooseBestSplit( dataSet, tolS, tolN )
% 引數中tolS是容許的誤差下降值，tolN是切分的最小樣本數
    m = size(dataSet);%資料集的大小
    if length(unique(dataSet(:,m(:,2)))) == 1%僅剩下一種時
        Index = 0;
        Value = regLeaf(dataSet(:,m(:,2)));
        return;
    end
    S = regErr(dataSet);%誤差
    bestS = inf;%初始化,無窮大
    bestIndex = 0;
    bestValue = 0;
    
    %找到最佳的位置和最優的值
    for j = 1:(m(:,2)-1)%得到列
        b = unique(dataSet(:,j));%得到特徵所在的列
        lenCharacter = length(b);
        for i = 1:lenCharacter
            temp = b(i,:);
            [mat0,mat1] = binSplitDataSet(dataSet, j ,temp);
            m0 = size(mat0);
            m1 = size(mat1);
            if m0(:,1) < tolN || m1(:,1) < tolN
                continue;
            end
            newS = regErr(mat0) + regErr(mat1);
            if newS < bestS
                bestS = newS;
                bestIndex = j;
                bestValue = temp;
            end
        end
    end
    
    if (S-bestS) < tolS
        Index = 0;
        Value = regLeaf(dataSet(:,m(:,2)));
        return;
    end
    
    %劃分
    [mat0, mat1] = binSplitDataSet(dataSet, bestIndex ,bestValue);
    m0 = size(mat0);
    m1 = size(mat1);
    if m0(:,1) < tolN || m1(:,1) < tolN
        Index = 0;
        Value = regLeaf(dataSet(:,m(:,2)));
        return;
    end
    Index = bestIndex;
    Value = bestValue;
end

劃分
%% 將資料集劃分為兩個部分
function [ dataSet_1, dataSet_2 ] = binSplitDataSet( dataSet, feature, value )
    [m,n] = size(dataSet);%計算資料集的大小
    DataTemp = dataSet(:,feature)';%變成行
    
    %計算行中標籤列的元素大於value的行
    index_1 = [];%空的矩陣
    index_2 = [];
    
    for i = 1:m
        if DataTemp(1,i) > value
            index_1 = [index_1,i];
        else
            index_2 = [index_2,i];
        end
    end
    [m_1,n_1] = size(index_1);%這裡要取列數
    [m_2,n_2] = size(index_2);
    
    if n_1>0 && n_2>0
        for j = 1:n_1
            dataSet_1(j,:) = dataSet(index_1(1,j),:);
        end
    
        for j = 1:n_2
            dataSet_2(j,:) = dataSet(index_2(1,j),:);
        end
    elseif n_1 == 0
            dataSet_1 = [];
            dataSet_2 = dataSet;
    elseif n_2 == 0
            dataSet_2 = [];
            dataSet_1 = dataSet;
    end
end
%% 將資料集劃分為兩個部分
function [ dataSet_1, dataSet_2 ] = binSplitDataSet( dataSet, feature, value )
    [m,n] = size(dataSet);%計算資料集的大小
    DataTemp = dataSet(:,feature)';%變成行
    
    %計算行中標籤列的元素大於value的行
    index_1 = [];%空的矩陣
    index_2 = [];
    
    for i = 1:m
        if DataTemp(1,i) > value
            index_1 = [index_1,i];
        else
            index_2 = [index_2,i];
        end
    end
    [m_1,n_1] = size(index_1);%這裡要取列數
    [m_2,n_2] = size(index_2);
    
    if n_1>0 && n_2>0
        for j = 1:n_1
            dataSet_1(j,:) = dataSet(index_1(1,j),:);
        end
    
        for j = 1:n_2
            dataSet_2(j,:) = dataSet(index_2(1,j),:);
        end
    elseif n_1 == 0
            dataSet_1 = [];
            dataSet_2 = dataSet;
    elseif n_2 == 0
            dataSet_2 = [];
            dataSet_1 = dataSet;
    end
end

偏差
function [ error ] = regErr( dataSet )
    m = size(dataSet);%求得dataSet的大小
    
    dataVar = var(dataSet(:,m(:,2)));
    
    error = dataVar * (m(:,1)-1);
end

葉節點
function [ leaf ] = regLeaf( dataSet )
    m = size(dataSet);
    leaf = mean(dataSet(:,m(:,2)));
end


相關推薦

簡單易學的機器學習演算法——分類迴歸樹CART

引言    分類迴歸樹（Classification and Regression Tree，CART）是一種典型的決策樹演算法，CART演算法不僅可以應用於分類問題，而且可以用於迴歸問題。一、樹迴歸的

機器學習之分類迴歸樹CART

CART：Classification and regression tree，分類與迴歸樹。（是二叉樹） CART是決策樹的一種，主要由特徵選擇，樹的生成和剪枝三部分組成。它主要用來處理分類和迴歸問題，下面對分別對其進行介紹。 1、迴歸樹：使用平方誤差最小準則

機器學習筆記之八—— knn-最簡單的機器學習演算法以及KD樹原理

上一節結束了線性迴歸、邏輯迴歸，今天一節來介紹機器學習中最簡單的演算法：    K近鄰（KNN，全稱K-nearst Neighbor）       概述：判斷一個樣本的label只需要判斷該樣本週圍其他樣本的label。簡言之，朋

簡單易學的機器學習演算法——Logistic迴歸

一、Logistic迴歸的概述     Logistic迴歸是一種簡單的分類演算法，提到“迴歸”，很多人可能覺得與分類沒什麼關係，Logistic迴歸通過對資料分類邊界的擬合來實現分類。而“迴歸”也就

簡單易學的機器學習演算法——嶺迴歸(Ridge Regression)

一、一般線性迴歸遇到的問題     在處理複雜的資料的迴歸問題時，普通的線性迴歸會遇到一些問題，主要表現在： 預測精度：這裡要處理好這樣一對為題，即樣本的數量和特徵的數量 時，最小二乘迴歸會有較小的

機器學習實戰（八）分類迴歸樹CART（Classification And Regression Tree）

目錄 0. 前言 1. 迴歸樹 2. 模型樹 3. 剪枝（pruning） 3.1. 預剪枝 3.2. 後剪枝 4. 實戰案例 4.1. 迴歸樹 4.2. 模型樹

【機器學習】分類決策樹與迴歸決策樹案例

一、回顧 什麼是決策樹，資訊熵 構建決策樹的過程 ID3、C4.5和CRAT演算法 上面三篇，主要介紹了相關的理論知識，其中構建決策樹的過程可以很好地幫助我們理解決策樹的分裂屬性的選擇。 本篇所有原始碼：Github 二

機器學習演算法 - 線性迴歸

線性迴歸演算法 解決迴歸問題 思想簡單，容易實現 許多強大的非線性模型的基礎 結果具有很好的可解釋性 蘊含機器學習中很多重要的思想$$y=ax_i +b$$   樣本特徵只有一個的線性迴歸問題，為簡單線性迴歸。 樣本特徵有多個的線性迴歸問題

機器學習演算法：迴歸分析與工程應用

一、線性迴歸 1.1 定義與定義引入 （一）什麼是線性迴歸呢？ 有監督學習 輸出/預測的結果yi為連續值變數 需要學習對映f：x->y 假定輸入x和輸出y之間有線性相關關係 （二）舉一個例子（單一變數）： （三）多變數的情況

機器學習之分類決策樹DecisionTreeClassifier

機器學習之分類決策樹DecisionTreeClassifier # -*- coding: utf-8 -*- """ Created on Fri Nov 23 21:06:54 2018 @author: muli """ import numpy as np

機器學習演算法——邏輯迴歸詳解

簡介 邏輯迴歸（Logistic Regression）既是迴歸演算法，也是分類演算法。通常情況下用於解決分類問題。 之前線性迴歸中，迴歸函式 y = Wx + b 中，y實際上就是我們要預測的值，如房價的價格預測。 而線上性迴歸中，我們實際要求的函式為 p =

機器學習---演算法---邏輯迴歸

轉自：https://blog.csdn.net/ustbbsy/article/details/80423294 1 引言    最近做一個專案，準備用邏輯迴歸來把資料壓縮到[-1,1]，但最後的預測卻是和標籤類似（或者一樣）的預測。也就是說它的predict的結果

【機器學習】分類決策樹基本介紹+程式碼實現

參考：https://blog.csdn.net/u012351768/article/details/73469813 1.基礎知識 基於特徵對例項進行分類。 優點：複雜度低，輸出結果易於理解，缺失中間值不敏感，可處理不相關特徵資料。 缺點：過度匹配。 適用資料型別：標稱和

第一章（1.1） 機器學習演算法工程師技能樹

一、機器學習演算法工程師需要掌握的技能 機器學習演算法工程師需要掌握的技能包括 （1）基礎資料結構與演算法 樹與相關演算法 圖與相關演算法 雜湊表與相關演算法 矩陣與相關演算法 （2）概率和統計基礎 （3）機器學習理論 3.1 無監督學習

十大機器學習演算法之決策樹（用於信用風險）

演算法原理 Decision Trees (DTs) 是一種用來 和 regression 的無參監督學習方法。其目的是建立一種模型從資料特徵中學習簡單的決策規則來預測一個目標變數的值。決策樹類似於流程圖的樹結構，分支節點表示對一個特徵進行測試，根據測試結果進行分類，樹節點

十分鐘掌握經典機器學習演算法-邏輯迴歸

機器學習故事匯-邏輯迴歸【咱們的目標】系列演算法講解旨在用最簡單易懂的故事情節幫助大家掌握晦澀無趣的機器學習，適合對數學很頭疼的同學們，小板凳走起！今天我們要來討論的一個分類演算法-邏輯迴歸（你有沒有搞錯，這不還是迴歸嗎，雖然名字帶上了迴歸其實它是一個非常實用的

無公式無程式碼白話機器學習演算法之決策樹

引子         今天開始讀劉未鵬的《暗時間》一書。在序言中，有一句話引起了我的興趣，“波普爾曾經說過：人生不過是解決問題。而判斷和決策又是其中最常見的一類問題解決。” 哈哈，我們的機器學習各種演

機器學習演算法(2) 決策樹

基於決策樹的基本思想(ID3演算法)，學習資訊增益的計算，決策樹的構建、使用、儲存。 例子來自《Machine Learning in Action》 Peter Harrington 熵值計算 計算資料集合中分類的數量與概率，根據公式求得熵。

機器學習演算法——logistic迴歸

概念邏輯迴歸就是這樣的一個過程：面對或者分類問題，建立代價函式然後通優化方法迭代求解出最優的模型引數，然後測試驗證我們這個好壞。 Regression常規步驟Ÿ尋找h函式（即預測函式）； Ÿ構造 J函式（損失）；函式（損失）； Ÿ想辦法使得 J函式最小並求得迴歸參（θ）

分類迴歸樹CART(上)

分類迴歸樹(CART,Classification And Regression Tree)也屬於一種決策樹，上回文我們介紹了基於ID3演算法的決策樹。作為上篇，這裡只介紹CART是怎樣用於分類的。 分類迴歸樹是一棵二叉樹，且每個非葉子節點都有兩個孩子，所以對於第一棵子