2. 程式人生 > >機器學習決策樹演算法解決影象識別

機器學習決策樹演算法解決影象識別

阿新 • • 發佈：2019-02-17

演算法介紹

 什麼是決策樹演算法

決策樹又稱判定樹，是一個類似於流程圖的樹結構：其中，每個內部結點表示在一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結點代表類或類分佈。樹的最頂層是根結點。

構造決策樹的基本演算法

主要評估標準，準確率，速度，健壯性，可規模性，可解釋性

樣例：研究某人今天會不會出去玩？

歷史資料：


從圖片中可以看出來，此人前14天中9天出去玩，5天沒有出去玩，其中由於天氣情況原因，晴天2天出去玩，3天沒有出去玩，陰天4天出去玩，0天沒有出去玩，雨天3天出去玩，2天沒有出去玩，然後由於溼度和風力影響，又有了下一輪決策是否出去玩的情況。以此類推分析分類此人是否會出去玩。

2.1.3 熵

例子：猜世界盃冠軍，假如一無所知，假如每個隊奪冠的機率都是相等的，那麼需要猜多少次？

 過程：是否是在前16只隊伍中，32/2，用二分法可知，需要猜5次。

熵的單位是bit

info(D) = -(1/32*log(1/32)+1/32*log(1/32)+1/32*log(1/32) +1/32*log(1/32)+1/32*log(1/32)...)累加32次


info(D)= 5bit

結論：資料量越大，熵值越大，不準確率越高


熵的差值則為有條件後的概率優化程度，以前面的案例分析，如果直接猜測某人會不會出去玩。結果為：


如果加上天氣情況分析，結果為：

所以在已知天氣情況的條件下，資料準確率優化了0.246

2.1.4 演算法優缺點

優點：直觀，便於理解，小規模資料集有效

缺點：處理連續變數不好，類別較多時，錯誤增加的比較快，可規模性一般

2.2 邏輯分析

此時不得不讓我非常開心，那如何利用決策樹來做影象識別呢？對此還是讓很多人無法理解，現在就慢慢向大家闡述。

再次對上述案例進行分析

天氣

溼度

風力

是否出去玩

sunny

<=70

無

玩

sunny

<=70

無

玩

sunny

>70

無

不玩

sunny

>70

無

不玩

sunny

>70

無

不玩

overcast

無

無

玩

overcast

無

無

玩

overcast

無

無

玩

overcast

無

無

玩

rain

無

風

不玩

rain

無

風

不玩

rain

無

沒風

玩

rain

無

沒風

玩

rain

無

沒風

玩

然後程式化上述程式：

天氣為三維，設定晴天為[1，0，0]，那麼多雲為[0，1，0]，雨天為[0，0，1]

溼度為三維，設定<=70為[1，0，0]，那麼>70為[0，1，0]，無為[0，0，1]

風力為三維，設定有風為[1，0，0]，那麼無風為[0，1，0]，無為[0，0，1]

是否出去玩為二維，設定玩為[1]，不玩為[0]

由此可知第一項則為 [1，0，0，1，0，0，0，0，1]，結果為[1]

以此類推。

    之後得出矩陣的計算其最優單位向量個數，

[1，0，0，1，0，0，0，0，1

 1，0，0，1，0，0，0，0，1

 1，0，0，0，1，0，0，0，0]

每三列則為一個特徵向量，然後進行計算熵值最小情況下哪些向量所佔權重最大。

但是如何去分析影象相似還是有很大距離，在影象中會有很大畫素，例如60*60畫素的圖片，每個畫素點會轉換為類似[255，200，10]RGB型別，本報告進行簡單分析，首先將圖片進行灰度圖化，轉化為例如[245]，然後對下個畫素點大小與之比較，大則為0，小則為1，由於影象畫素點大，之後會轉換為複雜矩陣，之後再對矩陣進行特徵向量切割，例如：

[1，0，0，1，0，0，0，0，1

 1，0，1，1，0，1，0，0，1

 1，0，0，0，1，0，0，0，0]

此矩陣特徵向量則為2，1，2，3，1分列，然後在進行熵值計算，權重比對，計算出最合理向量權重佔比，之後再對測試影象中的向量進行比對，就可以進算出其相似度。

影象分析結果相當出眾，可以對動態相似圖片與其他圖片有比較大的區分。

6.3 程式碼實現

程式語言為python ,利用Anaconda2環境編寫，測試圖片見附錄

# -*- coding: utf-8 -*-
import os
from PILimport Image
from PILimport ImageFilter
from PILimport ImageOps
from sklearnimport tree

def getCode(img,size):
    pixel_Y = []
    featurelist = []

    for xin range(0,size[0]):
        global tmp
        pixel_X = []
        for yin range(0,size[1]):
            pixel = img.getpixel((x, y))
            pixel_next = img.getpixel((x, y+1))if y < size[1]-1else None
            if pixel_nextis not None:
                feature = 0 ifpixel < pixel_next else1
                pixel_X.append(feature)
            else:
                featurelist.append(tmp)
                pixel_X.pop()
                feature = 0
            tmp = feature
        pixel_Y.append(pixel_X)

    return pixel_Y,featurelist


def OrginCode(dummyX,dummyY):
    clf = tree.DecisionTreeClassifier(criterion='entropy')
    clf.fit(dummyX, dummyY)
    return clf


def Cmpcode(cls,dummyX, dummyY):
    equal = 0
    predictedY = cls.predict(dummyX)
    for n,y inenumerate(predictedY):
        if y == dummyY[n]:
            equal += 1
    return equal


class imageOragin(object):

    def __init__(self,size=(1366,768),*image):
        dummyX = []
        dummyY = []
        for iin image:
            i = i.resize(size).convert('L')
            i = ImageOps.equalize(i)
            code1 = getCode(i, size)
            dummyX += code1[0]
            dummyY += code1[1]
        self.size = size
        self.cls = OrginCode(dummyX,dummyY)

    def cmp(self,image):
        # image.resize(self.size).convert('L').filter(ImageFilter.BLUR)影象模糊化 filter為影象增強手段,不建議使用
        # 更多關於ImageFilter推薦部落格http://blog.csdn.net/icamera0/article/details/50708888
        # resize重新定義圖片大小
        image = image.resize(self.size).convert('L')
        # ImageOps.equalize均衡影象的直方圖。該函式使用一個非線性對映到輸入影象，為了產生灰色值均勻分佈的輸出影象。
        # 更多關於ImageOps推薦部落格http://blog.csdn.net/icamera0/article/details/50785776
        image = ImageOps.equalize(image)
        code2 = getCode(image, self.size)
        equal = Cmpcode(self.cls,*code2)
        return equal *1.00 / self.size[0]


if __name__ =='__main__':
    image = []
    image1 = Image.open(r'C:\ML\imagetest\a1.png',"r")
    image2 = Image.open(r'C:\ML\imagetest\a3.png',"r")
    image3 = Image.open(r'C:\ML\imagetest\24.png',"r")
    image4 = Image.open(r'C:\ML\imagetest\a8.png',"r")
    image.append(image4)
    image5 = Image.open(r'C:\ML\imagetest\a12.png',"r")
    image.append(image5)
    image6 = Image.open(r'C:\ML\imagetest\1.png',"r")
    image.append(image6)
    image7 = Image.open(r'C:\ML\imagetest\3.png',"r")
    image.append(image7)
    image.append(image1)
    image.append(image2)
    image.append(image3)
    size = (1366,768)
    ora = imageOragin(size, *image)
    path = 'C:\\ML\\imagetest\\'
    files = os.listdir(path)
    for iin files:
        print path+i
        imaged = Image.open(path+i, "r")
        print ora.cmp(imaged)

相關推薦

機器學習決策樹演算法解決影象識別

演算法介紹  什麼是決策樹演算法 決策樹又稱判定樹，是一個類似於流程圖的樹結構：其中，每個內部結點表示在一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結點代表類或類分佈。樹的最頂層是根結點。 構造決策樹的基本演算法 主要評估標準，準確率，速度，健壯性，可規模性，可解

機器學習-決策樹演算法

機器學習中分類和預測演算法的評估： 1.準確率 2.速度 3.強壯性 4.可規模性 5.可解釋性 1.什麼是決策樹/判定樹 判定樹是一個類似於流程圖的樹結構：其中，每個內部結點表示在一個屬性上的測試，每個分支代表一個屬性輸出，而每個樹葉結點代表類或類分佈。樹

機器學習--決策樹演算法學習筆記

一、演算法表述 決策樹學習的目的是為了產生一顆泛化能力強的數。 一般來說，一顆決策樹包含一個根節點，若干個內部節點和若干個葉節點。 葉節點對應決策結果，其他每個節點對應一個屬性測試。 每個節點包含的樣本集合根據屬性測試的結果被劃分到子節點中，根節點包含樣本全集。 從

機器學習——決策樹和隨機森林演算法

認識決策樹 決策樹思想的來源非常樸素，程式設計中的條件分支結構就是if-then結構，最早的決策樹就是利用這類結構分割資料的一種分類學習方法。 下面以一個問題引出決策樹的思想 這個問題用圖來表示就是這樣: 為什麼先把年齡放在第一個呢，下面就是一個概念:資訊熵 資訊熵

機器學習 決策樹 隨機森林演算法

決策樹 概念 有關決策樹的理論參考: https://blog.csdn.net/gunhunti4524/article/details/81506012 不再贅述 要注意的是,sklearn預設使用的是 基尼係數 同是介紹一個數據集網站 http://biostat.mc.v

機器學習決策樹：提煉出分類器演算法

，用到決策樹一般都會出現過擬合問題，因此需要對決策樹進行剪枝，闡述了常用的幾種剪枝的方法（這些方法都出現在了sklearn的決策樹建構函式的引數中），後面總結了sklearn調包分析用決策樹做分類和迴歸的幾個例子，下面通過一個簡單的例子，提煉出構建一棵分類決策樹的演算法思想，進一步體會下決策樹的分類原

機器學習 —— 決策樹及其整合演算法(Bagging、隨機森林、Boosting)

決策樹 --------------------------------------------------------------------- 1.描述： 以樹為基礎的方法可以用於迴歸和分類。 樹的節點將要預測的空間劃分為一系列簡單域 劃分預測空間的規則可以被建模為

機器學習決策樹ID3演算法，手把手教你用Python實現

本文始發於個人公眾號：**TechFlow**，原創不易，求個關注 今天是機器學習專題的第21篇文章，我們一起來看一個新的模型——決策樹。 決策樹的定義 決策樹是我本人非常喜歡的機器學習模型，非常直觀容易理解，並且和資料結構的結合很緊密。我們學習的門檻也很低，相比於那些動輒一堆公式的模型來說，實在是簡單

深入瞭解機器學習決策樹模型——C4.5演算法

本文始發於個人公眾號：**TechFlow**，原創不易，求個關注 今天是機器學習專題的第22篇文章，我們繼續決策樹的話題。 上一篇文章當中介紹了一種最簡單構造決策樹的方法——ID3演算法，也就是每次選擇一個特徵進行拆分資料。這個特徵有多少個取值那麼就劃分出多少個分叉，整個建樹的過程非常簡單。如果錯過了上篇

機器學習--決策樹

-1 最優 bsp p s 分享 log cnblogs 學習 tex 基本流程: 　　決策樹: 　　　　根結點:屬性測試，包含樣本全集 　　　　內部結點:屬性測試，根據屬性測試的結果被劃分到子結點中 　　　　葉結點：決策結果 　　劃分選擇:如何選擇最優劃分屬性。目標

機器學習—決策樹

images dot grid acc port tree special orm criterion import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.

AI機器學習-決策樹算法-概念和學習過程

人工智能 其他 1. 概念決策樹是通過一系列規則對數據進行分類的過程，它提供一種在什麽條件下會得到什麽值的類似規則的方法。決策樹分為分類樹和回歸樹兩種，分類樹對離散變量做決策樹，回歸樹對連續變量做決策樹。分類決策樹模型是一種描述對實例進行分類的樹形結構。決策樹由結點和有向邊組成。結點有兩種類型：內部節

機器學習-決策樹（decision tree）

機器學習中分類和預測演算法的評估： 準確率 速度 強壯性（演算法中當有噪音和某些值缺失時，演算法能否依然很好） 可規模性 可解釋性（能否很好的解釋模型） 一、什麼是決策樹？ 1、判定樹（決策樹）是一個類似於流程圖的樹結構，其中，每個內部節點表示在一個屬性上的

機器學習--決策樹及泰坦尼克號生存預測

決策樹是一個類似於流程圖的樹結構，分支節點表示對一個特徵進行測試，根據測試結果進行分類，樹葉節點代表一個類別。 要判斷從哪個特徵進行分裂，就要對資訊進行量化，量化的方式有： ID3: 資訊增益 條件熵： 其中pi=P(X=xi)，X,Y代表了兩個事件，而它們之間有

機器學習——決策樹

1 import numpy as np 2 import pandas as pd 3 from sklearn.feature_extraction import DictVectorizer 4 from sklearn.model_selection import train_test_sp

機器學習---決策樹decision tree的應用

1.Python 2.Python機器學習的庫：scikit-learn 2.1 特性： 簡單高效的資料探勘和機器學習分析 對所有使用者開放，根據不同需求高度可重用性 基於Numpy，SciPy和matplotlib 開源的，且可達到商用級別，獲

機器學習 - 決策樹（下）- CART 以及與 ID3、C4.5的比較

機器學習 - 決策樹（下）- CART 以及與 ID3、C4.5的比較 CART 迴歸樹 分類樹 剪枝 剪枝 選擇 決策樹特點總結 ID3，C4.

機器學習 - 決策樹（中）- ID3、C4.5 以及剪枝

機器學習 - 決策樹（中）- ID3、C4.5 以及剪枝 決策樹簡述 決策樹過程 ID3 C4.5 過擬合 剪枝定義 剪枝過程

機器學習 - 決策樹（上）- 資訊理論基礎

機器學習 - 決策樹 and 資訊理論基礎 熵 自資訊 夏農熵 交叉熵 條件熵 互資訊（ID3 所使用的資訊增益） KL 散度（相對熵）

機器學習-決策樹(Entscheidungsbäume)

決策樹 基礎知識 樹的構成： 1.每一個內部節點代表一個屬性測試 2.每個分支對應特定的屬性值 3.每個葉子節點對應一個分類 樹的描述： 對於樹通常可以用一個析取正規化表示，每一個klausel對應著樹上從跟到葉子節點的一條路徑 比如： (