軟間隔SVM

硬間隔SVM

.

核函式：

SVM與感知機的區別

SVM分類超平面的解是唯一的，要滿足間隔最大化

感知機的解不唯一，沒有間隔最大化的約束條件，滿足分開資料點的分介面都是可以的

SVM與邏輯迴歸的區別

相同點：

第一，LR和SVM都是分類演算法。

第二，如果不考慮核函式，LR和SVM都是線性分類演算法，也就是說他們的分類決策面都是線性的

第三，LR和SVM都是監督學習演算法。

第四，LR和SVM都是判別模型。

   兩種方法都是常見的分類演算法，其中心思想都是增加對分類影響較大的資料點的權重，減少與分類關係較小的資料點的權重。

SVM的處理方法是隻考慮support vectors，也就是和分類最相關的少數點，去學習分類器。

而邏輯迴歸通過非線性對映，大大減小了離分類平面較遠的點的權重，相對提升了與分類最相關的資料點的權重。兩者的根本目的都是一樣的。

比較：      
0、概率值

LR給出了後驗概率，SVM只有01分類，沒有後延概率
1、損失函式

LR採用logistic損失（誤差平方和損失）

SVM採用合頁（Hinge）損失。（損失函式是二者的本質區別）

SVM的損失函式就自帶正則！！！（損失函式中的1/2||w||^2項），這就是為什麼SVM是結構風險最小化演算法的原因！！！而LR必須另外在損失函式上新增正則項！！

2、異常值

LR對異常值敏感；SVM對異常值不敏感，泛華能力強，分類效果好。
3、訓練資料體量

在訓練集較小時，SVM較適用，而LR需要較多的樣本。
4、起作用點的範圍

LR模型找到的那個超平面，是儘量讓所有點都遠離他，而SVM尋找的那個超平面，是隻讓最靠近中間分割線的那些點儘量遠離，即只用到那些支援向量的樣本。
5、非線性問題的處理方式

對非線性問題的處理方式不同，LR主要靠特徵構造，必須組合交叉特徵，特徵離散化；

SVM也可以這樣，還可以通過kernel，kernel很強大。
6、理解性：

LR相對來說模型更簡單，好理解，實現起來，特別是大規模線性分類時比較方便。而SVM的理解和優化相對來說複雜一些。但是SVM的理論基礎更加牢固，有一套結構化風險最小化的理論基礎.

7.線性SVM依賴資料表達的距離測度，所以需要對資料先做normalization，LR不受其影響
一個機遇概率，一個機遇距離

線性迴歸和邏輯迴歸

線性迴歸：

實際應用中，概率p與因變數往往是非線性的，為了解決該類問題，我們引入了logit變換，使得logit(p)與自變數之
間存在線性相關的關係，

邏輯迴歸：

通過推導，概率p變換如下，這與Sigmoid函式相符，也體現了概率p與因變數之間的非線性關係。以0.5為界限，預

測p大於0.5時，我們判斷此時y更可能為1，否則y為0。
 

（非線性情況下，可以加kernel，或者特徵相乘 ）

Logistic優缺點：

優：計算代價不高，易於理解和實現。

缺：容易欠擬合，分類精度可能不高。

SVM優缺點：

優：泛化錯誤率低，計算開銷不大，結果易解釋。

缺：SVM對引數調節和核函式的選擇敏感，原始分類器不加修改僅適用於處理二類問題。