2. 程式人生 > >統計學習方法(2)——感知機原始形式、對偶形式及Python實現

統計學習方法(2)——感知機原始形式、對偶形式及Python實現

阿新 • • 發佈：2019-02-20

感知機作為一種最簡單的線性二分類模型，可以在輸入空間（特徵空間）將例項劃分為正負兩類。本文主要介紹感知機兩種形式對應的學習演算法及Python實現。

　感知機學習演算法的原始形式

對於輸入空間，感知機通過以下函式將其對映至{+1，-1}的輸出空間

f(x)=sign(w⋅x+b)(1)
對於所有的錯分類點i∈M，都有−yi(w⋅xi+b)>0,因此我們可以定義如下的損失函式作為優化準則：
L(w,b)=−∑xi∈Myi(w⋅xi+b)(2)
通過求解損失函式(2)的梯度(3)，
∇wL(w,b)=−∑xi∈Myixi∇bL(w,b)=−∑xi∈Myi(3)
我們很容易就可以得到感知機學習演算法的原始形式.
w
←w+ηyixib←b+ηyi(4)
整個演算法流程如下：
  1. 選取初值w0,b0
  2. 在訓練集中任意選取點(xi,yi)
  3. 如果−yi(w⋅xi+b)>0則按照(4)式更新w,b
  4. 重複2直到沒有被誤分的點

以上即為感知機演算法的原始形式，理解起來比較簡單，也較容易實現。下面給出其的Python實現

from __future__ import division
import random
import numpy as np
import matplotlib.pyplot as plt  


def sign(v):
    if v>=0:
        return 1
    else
 
:
        return -1

def train(train_num,train_datas,lr):
    w=[0,0]
    b=0
    for i in range(train_num):
        x=random.choice(train_datas)
        x1,x2,y=x
        if(y*sign((w[0]*x1+w[1]*x2+b))<=0):
            w[0]+=lr*y*x1
            w[1]+=lr*y*x2
            b+=lr*y
    return w,b
def plot_points
 
(train_datas,w,b):
    plt.figure()
    x1 = np.linspace(0, 8, 100)  
    x2 = (-b-w[0]*x1)/w[1]
    plt.plot(x1, x2, color='r', label='y1 data')
    datas_len=len(train_datas)
    for i in range(datas_len):
        if(train_datas[i][-1]==1):
            plt.scatter(train_datas[i][0],train_datas[i][1],s=50)  
        else:
            plt.scatter(train_datas[i][0],train_datas[i][1],marker='x',s=50)  
    plt.show()


if __name__=='__main__':
    train_data1 = [[1, 3, 1], [2, 2, 1], [3, 8, 1], [2, 6, 1]]  # 正樣本
    train_data2 = [[2, 1, -1], [4, 1, -1], [6, 2, -1], [7, 3, -1]]  # 負樣本
    train_datas = train_data1 + train_data2  # 樣本集
    w,b=train(train_num=50,train_datas=train_datas,lr=0.01)
    plot_points(train_datas,w,b)

原始形式

可以看出正負樣本被紅線分到了兩個區域。

感知機學習演算法的對偶形式

相比於原始形式，其對偶形式在理解上沒有前者那麼直觀，網上關於其實現程式碼的例子也比較少。
在《統計學習方法》一書中，關於對偶形式有如下的描述：

對偶形式的基本想法是，將w和b表示為例項xi 和標記 yi 的線性組合的形式，通過求解其係數而求得w和b.

假設w0=0,b=0,那麼從(4)式可以看出，當所有的點均不發生誤判時，最後的w,b一定有如下的形式:

w=∑i=1Nniηyixi=∑i=1Nαiyixib=∑i=1Nniηyi=∑i=1Nαiyi
(5)
其中αi=niη中ni代表對第i個樣本的學習次數，感知機對偶形式的完整形式即為(6)式：
f(x)=sign(∑j=1Nαjyjxj⋅x+b)(6)
  1. 初始化α=0,b=0.
  2. 任意選取(xi,yi)
  3. 如果yi(∑j=1Nαjyjxj⋅xi+b)≤0,即發生誤判，則對αi,b進行更新：

    相關推薦

    統計學習方法(2)——感知機原始形式、對偶形式及Python實現

    感知機作為一種最簡單的線性二分類模型，可以在輸入空間（特徵空間）將例項劃分為正負兩類。本文主要介紹感知機兩種形式對應的學習演算法及Python實現。 　感知機學習演算法的原始形式 對於輸入空間，感知機通過以下函式將其對映至{+1，-1}的輸出空間

    統計學習方法 二 感知機

    ges 數據集 函數 分類 步長 例題 算法 損失函數 width 感知機 （一）概念 　　　　　　　　 1，定義： 　　　　　　　　 （二），學習策略 1，線性可分 ：存在一個超平面將正實例和負實例劃分開來，反之不可分 2，學習策略：尋找極小損失函數，通過計算誤分點到超平

    [Python-程式碼實現]統計學習方法之感知機模型

    內容簡介 感知機模型 - 手寫 Coding 使用手寫模型進行鳶尾花分類 使用 sklearn 中的感知機進行鳶尾花分類 感知機模型 - 手寫 Coding class Model: """感知機模型""" def __init__(s

    《李航：統計學習方法》--- 感知機演算法原理與實現

    感知機模型 感知機是一個二類分類的線性分類模型。所謂二類分類就是它只能將例項分為正類和負類兩個類別。那麼為什麼是線性分類模型呢，我的理解是感知機學習旨在求出可以將資料進行劃分的分離超平面，而分離超平面的方程 w⋅x+b=0 為線性方程，所以感知機為線性分類模型

    統計學習方法第二章例題2.2程式碼實踐，感知機的對偶形式的程式碼實現

    def judge_functon(dataMat,labels,labelsMat,b,m,AMat): for i in range(m): if (labels[i] * (sum(multiply(dataMat * dataMat[i].T, multiply(AMat, l

    統計學習方法-第2章-感知機(1)

    2.1 感知機模型 定義: 輸入特徵空間為\(\chi\subseteq R^n\), 輸出空間為\(\mathcal{Y}=\{+1, -1\}\). 則由輸入空間到輸出空間的如下函式: \[f(x) = sign(w\cdot x+b)\] 其中\[sign(x)=\left\{\begin{array

    【統計學習方法讀書筆記】感知機的個人理解（2）

    這一部分說說自己看感知機學習演算法的對偶形式的理解。 引用知乎使用者的回答，這裡搞清楚兩件事情。自己看書的第一個疑惑是為什麼,這其中的ni是從何而來呢？後來發現忽略一個點就是“對於一個多次被誤分類的點”，也就是某個資料被使用了多次，因此出現ni這個引數。 第二個就是對於李航老師說的“例

    《統計學習方法》筆記七（2） 支援向量機——線性支援向量機

    本系列筆記內容參考來源為李航《統計學習方法》 線性不可分的通常情況是訓練資料中有一些特異點，將這些點去除後，剩下的大部分樣本點組成的結合是線性可分的。即某些樣本點不能滿足函式間隔≥1的約束條件，據此，對每個樣本點引入鬆弛變數，使函式間隔加上鬆弛變數≥1。 對偶演算法 支援向量 合頁損失

    《統計學習方法》筆記第二章 —— 感知機

      主要內容： 一、感知機模型 二、感知機學習策略（線性可分） 三、感知機學習演算法     一、感知機模型 1.所謂感知機，其實就是一個在n維空間內的超平面(n-1維)，這個超平面將整個空間分為兩部分。 2.該超平面S被定義為：w*x + b = 0。其中，w

    統計學習方法ｃ++實現之一　感知機

    感知機 前言 最近學習了c++，俗話說‘光說不練假把式’，所以決定用c++將《統計學習方法》裡面的經典模型全部實現一下，程式碼在這裡，請大家多多指教。 感知機雖然簡單，但是他可以為學習其他模型提供基礎，現在先簡單回顧一下基礎知識。 感知機模型 上圖就是簡單的感知機模型，其中\(f\) 我們一般取

    《統計學習方法（李航）》感知機學習筆記

    作者：jliang https://blog.csdn.net/jliang3 1.重點歸納 1）感知機是二分類的線性分類模型 2）經驗風險函式/損失函式, M為誤分類點 3）學習策略, M為誤分類點 4）感知機是誤分類驅動的，具體採用隨機梯度下降法求解。 5）感知機存在

    【統計學習方法讀書筆記】感知機的個人理解（1）

    寫在前面： 在友人的推薦下，開始入李航老師的坑，《統計學習方法》。 讀到第二章，感知機，李航老師由淺入深讓我有了很好的理解，現在自己總結一下思路。 正文：  感知機用於二分類問題，由淺開始：假定我們有一個平面上存在許許多多的藍色點和紅色點，並且假設存在一條直線可以將藍紅

    統計學習方法感知機(附簡單模型程式碼)

    1. 感知機模型 輸入為例項的特徵向量， 輸出為例項的類別， 取+1和-1；感知機對應於輸入空間中將例項劃分為正負兩類的分離超平面， 屬於判別模型；匯入基於誤分類的損失函式；利用梯度下降法對損失函式進行極小化；感知機學習演算法具有簡單而易於實現的優點， 分為原始形式和對偶形式；1957年由Ros

    統計學習方法筆記二---感知機(Perceptron Learning Algorithm,PLA)

    簡介 感知機（perceptron）是二分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別，取+1和-1二值。感知機對應於輸入空間（特徵空間）中將例項劃分為正負兩類的分離超平面，屬於判別模型，解決的問題是分類問題。 目標/目的：求出將訓練資料進行線

    統計學習方法——感知機演算法（基於R語言）

    演算法2.1 train <- function(mat) { nr <- nrow(mat) nc <- ncol(mat) w0 <- matrix(0,nc - 1,1) b0 <- 0

    機器學習入門之《統計學習方法》筆記整理——感知機

      從頭開始學習李航老師的《統計學習方法》，這本書寫的很好，非常適合機器學習入門。   如果部分顯示格式有問題請移步Quanfita的部落格檢視 目錄 感知機模型   什麼是感知機？感知機是二類分類的線性分類模型，其輸入為例項的特徵向量

    統計學習方法 學習筆記（二）：感知機

    相交 with open read move remove 由於 subset rip span 在這一篇筆記中，來了解一下感知機模型（perceptron），我們將要了解感知機的模型，感知機的學習策略和感知機的學習算法，並且使用Python編程來實現書中的例子。

    統計學習方法筆記9—EM演算法2

    9.2 EM演算法的收斂性 收斂定理9.1 觀測資料的似然函式單調遞增 收斂定理9.2 EM演算法是收斂性包含對數似然函式序列的收斂性和關於引數估計序列的收斂性，即一定可以通過迭代發現似然函式的極值點。 9.3 EM演算法在高斯混合模型學習中的應用 9.3.1 高

    支援向量機學習（一）·統計學習方法

    支援向量機 1 線性可分支援向量機 線性可分支援向量機和線性支援向量機假設輸入空間與特徵空間為一一對應關係，並將輸入空間中的輸入對映為特徵空間中的特徵向量。非線性支援向量機利用一個從輸入空間到特徵空間的非線性對映將輸入對映為特徵向量，所以輸入都是由輸入空間到特徵空間，支援向量機的

    【統計學習方法-李航-筆記總結】七、支援向量機

    本文是李航老師《統計學習方法》第七章的筆記，歡迎大佬巨佬們交流。 主要參考部落格： https://www.cnblogs.com/YongSun/p/4767130.html https://blog.csdn.net/wjlucc/article/details/69376003