雙正則化引數的L2-SVM

阿新 • • 發佈：2018-12-06

一、前言

在單正則化SVM的基礎上，提出雙正則化引數的L2-SVM,獲得它的對偶形式，從而確定最優化的目標函式，結合梯度下降形成：Doupenalty gradient（一種新的SVM引數選擇方法）
Doupenalty-Gradient方法在同時尋找 C+和C−C+和C− 以及核引數這三個引數的最優值時，SVM的效能得到了極大的改善。

二、SVM演算法

2.1 SVM 原型演算法

$\large \begin{array} { c l } { \min : } & { \quad\frac { 1 } { 2 } \| w \| ^ { 2 } + C \sum _ { i = 1 } ^ { N } \xi _ { i }\quad\quad (0) } \\ \\{ s . t . } & {\quad y _ { i } \left[ \left( w \cdot x _ { i } \right) + b \right] \geqslant 1 - \xi _ { i }\quad\quad (1) } \end{array}$

( 其中 $\xi _{i}\geq 0,i=1,2,....N$ )
$C>0$ 用來調節錯分樣本的錯誤比重
$\xi _{i}\geq 0$ 為鬆弛因子，代表錯分樣本的錯誤程度
$y _ { i } = \pm 1$ 表示為樣本的類別標籤
$w$ 最優超平面法向量
$b$ 最有超平面的閾值

用對偶理論求解最優化，並引入核函式，求出式（1）的對偶形式：

$\large \begin{array} { l } { \max \quad - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } k \left( x _ { i } , x _ { j } \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i } }\quad\quad(2)\\ \\ { s . t . \quad \quad\sum _ { j = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 , \quad 0 \leqslant \alpha _ { i } \leqslant C \quad\quad \quad \quad \quad\quad \quad (3)} \end{array}$

判別函式: $\large f ( x ) = \operatorname { sign } \left( \sum _ { i = 1 } ^ { N } \alpha _ { i } y _ { i } k \left( x _ { i } , x \right) + b \right)\quad(4)$

$\large \alpha _{i}$ 為Lagrange乘子， $\large k(x_{i},x_{j})$ 是核函式。式（3）的判別函式為 (4)

2.2 SVM 改進演算法 L2—SVM

我們把式子 (1) 稱為 $\large L1-SVM$ ，它的改進演算法：二範數軟間隔SVM 稱為 $\large L2-SVM$ 。詳情如下 :

$\large \left( \xi _ { i } \geqslant 0 , i = 1,2,3 , \ldots , N \right)$

$\large \begin{array} { c l } { \min : } & { \frac { 1 } { 2 } \| w \| ^ { 2 } + C \sum _ { i = 1 } ^ { N } \xi _ { i } ^ { 2 } \qquad(5)} \\\\ { s . t . } & { y _ { i } \left[ \left( w \cdot x _ { i } \right) + b \right] \geqslant 1 - \xi _ { i }\qquad(6) } \end{array}$

上式的對偶為:

$\large \begin{array} { l } { \max \quad - \frac { 1 } { 2 } \sum _ { i = 1 } ^ { N } \sum _ { j = 1 } ^ { N } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } \left( k \left( x _ { i } , x _ { j } \right) + \frac { 1 } { C } \delta _ { i j } \right) + \sum _ { i = 1 } ^ { N } \alpha _ { i } \qquad(7)} \\ \\{ s . t . \qquad\sum _ { j = 1 } ^ { N } \alpha _ { i } y _ { i } = 0 , \quad 0 \leqslant \alpha _ { i } \qquad(8)} \end{array}$

式中

$\large \delta _ { i j } = \left\{ \begin{array} { l l } { 1 } & { i = j } \\ { 0 } & { i \neq j \qquad(9)} \end{array} \right.$

約束條件式 (8) 中去掉了上界 這就是的重要特性。

它可以將軟間隔轉換成硬間隔，即將線性不可分轉換成線性可分，而目標函式中僅僅是在核函式的對角線上加上一個常數因子1/C，可以當作是核函式的一個微小改動，即：

$\large k \left( x _ { i } , x _ { j } \right) = k \left( x _ { i } , x _ { j } \right) + \frac { 1 } { C } \delta _ { i j } \qquad(10)$

參考作者：https://blog.csdn.net/wsp_1138886114/article/details/82459928

雙正則化引數的L2-SVM

一、前言

二、SVM演算法

2.1 SVM 原型演算法

2.2 SVM 改進演算法 L2—SVM

雙正則化引數的L2-SVM

R-CNN—雙正則化引數的L2-SVM

深度學習正則化-引數範數懲罰（L1,L2範數）

泛化能力、訓練集、測試集、K折交叉驗證、假設空間、欠擬合與過擬合、正則化（L1正則化、L2正則化）、超引數

L1正則化和L2正則化

批歸一化（Batch Normalization）、L1正則化和L2正則化

深度學習：正則化（L2、dropout）

L1正則化與L2正則化的理解

18.【進階】模型正則化--L1&L2範數正則化

正則化引數——0/1/核範數

L1正則化和L2正則化比較

對L1正則化和L2正則化的理解

SVM支援向量機系列理論（七）線性支援向量機與L2正則化 Platt模型

深度學習 --- 優化入門六（正則化、引數範數懲罰L0、L1、L2、Dropout）

Regularized least-squares classification（正則化最小二乘法分類器）取代SVM

正則化項L1和L2的區別

機器學習之路： python線性回歸過擬合 L1與L2正則化

使用L2正則化和平均滑動模型的LeNet-5MNIST手寫數字識別模型

l2-loss，l2範數，l2正則化，歐式距離

L2正則化項為什麼能防止過擬合學習筆記

雙正則化引數的L2-SVM

一、前言

二、SVM演算法

2.1 SVM 原型演算法

2.2 SVM 改進演算法 L2—SVM

相關推薦