一、前述

SVM在2012年前還是很牛逼的，但是12年之後神經網絡更牛逼些，但我們還是很有必要了解SVM的。

二、具體

1、問題引入

要解決的問題：基於以下問題對SVM進行推導

1.1

3條線都可以將兩邊點分類，什麽樣的決策邊界才是最好的呢？ 特征數據本身如果就很難分，怎麽辦呢？計算復雜度怎麽樣？能實際應用嗎？

2、案例引入

假設有一個部隊過雷區，我們肯定希望走的邊界越大越好，這樣踩雷的風險就低。

決策邊界：選出來離雷區最遠的（雷區就是邊界上的點，要Large Margin），第二個肯定比第一個效果好。

我們希望找到離決策邊界最近的點，這樣就找到了決策邊界。

所以，假設決策邊界是一個陰影平面，求點到平面的距離轉換成點到點的距離，然後再垂直方向上的投影。

數據標簽定義：

優化的目標：找到一個w.b使得距離最近的點離這條線最遠。

目標函數再化簡：

繼續轉換：

SVM求解：

怎麽樣求a的值呢？請看下面一個例子：

SVM求解實例：

所以引出SVM的中文含義：支持向量

總結：所有邊界上的點a必然不等於0，所有非邊界上的點a必等於0。支持向量機中的機就是邊界的意思，支持向量就是邊界點,a不為0的點，決定邊界。

當取60個樣本點和120個樣本點時，只要添加的不是邊界上的樣本點，那麽決策邊界就是不變的。

【機器學習】--SVM從初始到應用