1.感知機

感知機是一種二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別{+1，-1}。感知機要求資料集是線性可分的。
按照統計學習三要素模型、策略、演算法的順序來介紹。

2.感知機模型

由輸入空間到輸出空間的如下函式：

f(x)=sign(ω⋅x+b)
其中ω，b 為模型引數，ω⊂Rn叫權值（weight）或權值向量（weight vector）,b⊂R叫偏置。
感知機模型的假設空間是定義在特徵空間中的所有線性分類模型（linear classification model）或線性分類器（linear classifier），即函式集合{f|f(x)=ω⋅x+b

}.

2.1感知機模型的幾何解釋

線性方程ω⋅x+b對應於特徵空間的一個超平面S，ω代表超平面的法向量，b代表截距。這個超平面將特徵空間分為兩個部分，位於兩部分的點（特徵向量）被劃分為正負兩類，所以超平面S被稱為分離超平面（separating hyperplane）。

在看幾何模型這裡有幾點疑惑：
1.超平面是什麼
2.原點到超平面的距離−b∥ω∥（純屬高數忘的差不多了）

2.1.1超平面

百度百科給出的定義：超平面是n維歐式空間中餘維度等於一的線性子空間（也就是說超平面的維度為n-1）。這是平面中的直線、空間中的平面之推廣。

似乎並沒有起到什麼幫助理解的作用！這個東西為什麼要叫超平面也是很迷！刨除這個蜜汁叫法，還是試圖從公式上進行理解吧。

百度到資料一：給定Rn空間中的一點p和非零向量n⃗ ，滿足

n⃗ ⋅(x−p)=0

的點集x稱為經過點p的超平面。向量n⃗ 為該超平面的法向量。按照這個定義，一條直線是R2空間的超平面，一個平面是R3空間的超平面。

老學長解惑：在Rn空間中的超平面為：

ω⃗ T⋅x⃗ +b=0
在幾維空間中，向量ω⃗ ,x⃗ 就是幾維的。當然，ω⃗ ，x⃗ 屬於該空間。在二維空間下，該方程表示一條直線，直線是平面的超平面。三維空間下，該方程表示一個平面，平面是空間的超平面。

老學長這個解釋，我還是比較能接受的。

2.1.2點到超平面的距離

寫到這裡，我已決心要重看一遍高數。
向量的投影：給定兩個向量u

⃗ ,v⃗ ,求u⃗ 在v⃗ 上的投影長度，向量間的夾角為cosθ。

算不上推導的推導：

d=|u|⋅cosθ
cosθ=u⋅v|u||v|
綜上，d=u⋅v|v|
點到超平面的距離：假設x⃗ 0是超平面ω⃗ T⋅x⃗ +b=0上任意一點，則點x到超平面的距離為x⃗ −x⃗ 0在超平面法向量ω⃗ 上的投影長度：
d=|ω⃗ T(x⃗ −x⃗ 0)|∥ω⃗ ∥=|ω⃗ T⋅x⃗ +b−ω⃗ T⋅x⃗ 0−b|∥ω⃗ ∥=|ω⃗ T⋅x+b|∥ω⃗ ∥

2.1.3超平面的正反面

一個超平面可以將該空間分成兩部分，和法向量同向規定為正面，和法向量反向稱為反面。x

相關推薦

筆記-感知機、超平面

1.感知機 感知機是一種二分類的線性分類模型，輸入為例項的特徵向量，輸出為例項的類別{+1，-1}。感知機要求資料集是線性可分的。 按照統計學習三要素模型、策略、演算法的順序來介紹。 2.感知機模型 由輸入空間到輸出空間的如下函式： f(x)=si

深度學習筆記——感知機

程式碼參考了零基礎入門深度學習(1) - 感知器這篇文章，我只對程式碼裡可能存在的一些小錯誤進行了更改。至於感知機的原理以及程式碼裡不清楚的地方可以結合該文章理解。 from functools import reduce class Perceptron: def __init_

學習筆記-感知機

感知機的解不唯一，與初始值和選取的誤分類點有關 感知機學習演算法包括原始形式和對偶形式 對偶形式是對演算法執行速度的優化，引入了Gram矩陣，達到一次計算，多次使用的效果 損失函式為誤分類點到超平

[機器學習筆記]感知機

 感知機相當於一個結點，結點權重為W，偏差為b，輸入樣本為x。 當Wx+b大於等於0時輸出為+1正例，小於0時輸出-1反例。為二分類 模型： 上式為輸入空間到輸出空間的函式，感知機是一種線性模型，判別模型。 策略： 目標是最小化誤分類點的個數，然而個數不是W，b的可

單層神經網路、多層感知機、深度學習的總結

關於神經網路的幾點思考：單層——多層——深度 神經網路本質上是一個逼近器，一個重要的基本屬性就是通用逼近屬性。 通用逼近屬性： 1989年，George Cybenko發表文章“Approximation by Superpositions of a Sigmoidal

（基礎）支援向量機SVM——超平面

若拋卻維度等於3的限制，就得到了超平面的定義。 其中方程數量為1，它的本質其實是自由度比空間維度D小1。自由度的概念可以簡單的理解為至少要給定多少個分量的值才能確定一個點。 例如， 三維空間裡的(超)平面只要給定了(x,y,z) 中任意兩個分量， 剩下的一個的值就確定了。 先確定值的兩個分量是自由的， 因

影象的線性分類器（感知機、SVM、Softmax）

  本文主要內容為 CS231n 課程的學習筆記，主要參考 學習視訊 和對應的 課程筆記翻譯 ,感謝各位前輩對於深度學習的辛苦付出。在這裡我主要記錄下自己覺得重要的內容以及一些相關的想法，希望能與大家多多交流~ 1. 線性分類器簡介   這部分所

SVM簡介、SVM與感知機、邏輯迴歸LR的區別

軟間隔SVM 硬間隔SVM . 核函式： SVM與感知機的區別 SVM分類超平面的解是唯一的，要滿足間隔最大化 感知機的解不唯一，沒有間隔最大化的約束條件，滿足分開資料點的分介面都是可以的 SVM與邏輯迴歸的區別 相同點： 第

機器學習之感知機學習筆記第一篇：求輸入空間R中任意一點X0到超平面S的距離

我的學習資料是“統計學習方法”，作者是李航老師，這本書很著名，百度有很多關於它的PDF。 作為學習筆記，就說明我還是屬於學習中，所以，這個分類中我暫時不打算討論詳細的演算法，這個分類會講到我在學習遇到的問題和我自己解決這些問題的思路。 今天這個問題（見題目）是在學習李航老師

【機器學習基石筆記】二、感知機

證明 機器學習 sign 線性可分 缺點 學習 犯錯 nbsp 錯誤 感知機算法： 1、首先找到點，使得sign(wt * xt) != yt， 　　那麽如果yt = 1，說明wt和xt呈負角度，wt+1 = wt + xt能令wt偏向正角度。 　　如果yt = -1, 說

機器學習的簡要筆記（四）——感知機的算法

author upd str eight 形式 最小化 turn ads urn 1、什麽是感知機（Perception） 感知機是生物神經細胞的簡單抽象。神經細胞結構大致可分為：樹突、突觸、細胞體及軸突。單個神經細胞可被視為一種只有兩種狀態的機器—&mdas

改善深層神經網路：超引數除錯、正則化以及優化_課程筆記_第一、二、三週

所插入圖片仍然來源於吳恩達老師相關視訊課件。仍然記錄一下一些讓自己思考和關注的地方。 第一週 訓練集與正則化 這周的主要內容為如何配置訓練集、驗證集和測試集；如何處理偏差與方差；降低方差的方法（增加資料量、正則化：L2、dropout等）；提升訓練速度的方法：歸一化訓練集；如何合理的初始化權

學習筆記——超平面

“超平面是n維歐氏空間中餘維度等於一的線性子空間，也就是必須是(n-1)維度。因為是子空間，所以超平面一定經過原點。” 為什麼超平面一定經過原點？ 【《矩陣論》戴華編著】 定理1.4.1 數域P上線性空間V的非空子集W是V的一個線性子空間當且僅當W對於V的兩種運算封閉，即

《統計學習方法》筆記第二章 —— 感知機

  主要內容： 一、感知機模型 二、感知機學習策略（線性可分） 三、感知機學習演算法     一、感知機模型 1.所謂感知機，其實就是一個在n維空間內的超平面(n-1維)，這個超平面將整個空間分為兩部分。 2.該超平面S被定義為：w*x + b = 0。其中，w

機器學習筆記 perceptron（感知機） 在ex4Data資料集上的實現

慣例的ML課堂作業，第四個也是最後一個線性分類模型，感知機。 感知機是一個非常簡單的線性分類模型，簡單來說就是一個神經元，其啟用函式是門限函式，有n個輸入和一個輸出，和神經元結構十分相似。 感知機的損失函式是看作是分類錯的所有樣本的輸出值的和 hw的輸出就是

【機器學習筆記21】神經網路（多層感知機)

【參考資料】 【1】《深度學習》 花書 6.1 亦或問題 由於單層感知機相當於在一個空間增加了一個超平面進行分類，那麼對於像亦或問題這樣的情況則無法完成。 因此在多層感知機中增加了一個隱藏層，即一個啟用函式。現代神經網路最常用的啟用函式是整流線性單元，ReL

【機器學習筆記19】神經網路（單層感知機）

【參考資料】 【1】《人工神經網路教程》 【2】《matlab 2015b 神經網路技術》 基本概念 單層感知器可以看成一個線性累加器和一個二值化閾值元器件，通常會在累加一個偏移量。由公式表達為:oj=sgn(∑i=1nwijxi+b)o_j= sgn(\s

SVM和感知機的區別（轉載+自己筆記）

感知機和SVM的區別： 1、相同點 都是屬於監督學習的一種分類器（決策函式）。 2、不同點 感知機追求最大程度正確劃分，最小化錯誤，效果類似紫線，很容易造成過擬合。支援向量機追求大致正確分類的同時，一定程度上避免過擬合，效果類似下圖中的黑線。 感知機使用的學習策

感知機整理筆記

基於《統計學習方法》的感知機內容以及自己的理解整理如下。 應用場景 按李航老師的定義：感知機(perceptron)是二分類的線性分類模型，其輸入為例項的特徵向量，輸出為例項的類別(取+1 ，-1二值)，感知機對應於輸入空間(特徵空間)中將例項分為正負兩類的分離超平面，屬於判別模型。

《統計學習方法（李航）》感知機學習筆記

作者：jliang https://blog.csdn.net/jliang3 1.重點歸納 1）感知機是二分類的線性分類模型 2）經驗風險函式/損失函式, M為誤分類點 3）學習策略, M為誤分類點 4）感知機是誤分類驅動的，具體採用隨機梯度下降法求解。 5）感知機存在