• • • 2.1 對偶問題
      • 2.1.1 原始問題的轉換
      • 2.2.2 強對偶性和弱對偶性
      • 2.3.3 SVM模型的對偶問題形式求解
        • KKT條件如下：
      • 2.3.4 支援向量的再定義

2.1 對偶問題

2.1.1 原始問題的轉換

a. 轉換形式

SVM演算法的經典問題是一個凸二次規劃模型，求解這個問題比較複雜。

$$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2$$

$$s.t. \ \ \ y_i{(w \cdot x_i + b )}{} \geq {1}{} \ \ \ \ (i = 1, ... , N) \ \ \ \ \ \ \ \ \ (7)$$

（7）這個問題其實等價於“對拉格朗日函式$\ \ L(w,b,\alpha)$ 求關於拉格朗日乘子$\alpha$的最大, 然後再對$\ \ L(w,b,\alpha)$ 求關於 $w,b$ 的最小，”即(7)可以寫為：

$$p^*=min_{w,b} max_{\alpha \ ,\alpha_i\ge0}L(w,b,\alpha) =min_{w,b}\theta _P(w,b) \ \ \ \ \ \ \ \ \ (8)$$

---

b. 證明過程：

這個轉換其實就是把約束條件 $g_i(w) \leq 0$ 轉化到拉格朗日函式中去。

$max_{\alpha \ ,\alpha_i\ge0}L(w,b,\alpha)$ 表示對L取關於a的最後大化，觀察拉格朗日函式的形式：

$L(w,b,\alpha) = f(w) + \sum a_i \cdot g(wi) ; \alpha_i \geq 0$

現在, $a_i \geq 0$ ，對 $L(w,b,\alpha)$ 作關於$\alpha$ 的最大化,那麼：

• 當 $g(w_i) \leq 0$ （即滿足約束條件）時，L（w，b，a）的最大為 f（w）；

• 當 $g(w_i) > 0$時，L（w，b，a）的最大為正無窮大。

這樣 $max_{\alpha \ ,\alpha_i\ge0}L(w,b,\alpha)$ 是一個分段函式。第一段是滿足約束條件時，有函式f（w），第二段是一個正無窮大。這時要對這個分段函式取min，那麼肯定是選擇對滿足約束條件時的f（w）取min，因為第二段是正無窮大。

這樣，就把一個約束問題轉化成無約束問題。

注：

這裡還可以看出 $L(w,b,\alpha)$要最大，那麼必須有$\alpha_i g(w_i) = 0$也就是拉格朗日乘子和約束中至少有一個為0；這就是KKT條件中的鬆弛互補條件

---

2.2.2 強對偶性和弱對偶性

上面提到，原始問題可以轉化為拉格朗日函式的無約束問題：

p∗=minw,bmaxα ,αi≥0L(w,b,

相關推薦

SVM支援向量機系列理論（二） 線性可分SVM模型的對偶問題

2.1 對偶問題 2.1.1 原始問題的轉換 2.2.2 強對偶性和弱對偶性 2.3.3 SVM模型的對偶問題形式求解

SVM支援向量機系列理論（七） 線性支援向量機與L2正則化 Platt模型

7.1 軟間隔SVM等價於最小化L2正則的合頁損失 上一篇 說到， ξi ξ i \xi_i 表示偏離邊界的度量，若樣本點

SVM支援向量機系列理論（九） 核嶺迴歸

1. 嶺迴歸問題 嶺迴歸就是使用了L2正則化的線性迴歸模型。當碰到資料有多重共線性時（自變良量存在高相關性），我們就會用到嶺迴歸。 嶺迴歸模型的優化策略為： minw    1N∑i(yi−w⋅zi)2+λNwTw&nbs

SVM支援向量機系列理論（四） 軟間隔支援向量機

4.1 軟間隔SVM的經典問題 4.2 軟間隔SVM的對偶問題 4.2.1 軟間隔SVM的對偶問題學習演算法 4.3 軟間

SVM支援向量機系列理論（六） SVM過擬合的原因和SVM模型選擇

6.1 SVM 過擬合的原因 實際我們應用的SVM模型都是核函式+軟間隔的支援向量機，那麼，有以下原因導致SVM過擬合： 選擇的核函式過於powerful，比如多項式核中的Q設定的次數過高 要求的間隔過大，即在軟間隔支援向量機中C的引數過大時，表示比較重視間隔，堅持要資

SVM支援向量機系列理論（五）SVM中幾種核函式的對比

核函式可以代表輸入特徵之間特殊的相似性。 5.1 線性核 形式： K(x,x′)=xTx′ K ( x ,

SVM支援向量機系列理論（三） 非線性支援向量機與核函式技巧

3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核

SVM支援向量機系列理論(八) 核邏輯迴歸

kernel 邏輯迴歸（KRL）就是使用Representer Theory在L2正則的邏輯迴歸模型中應用核技巧。 1. Representer Theoem Representer Theoem是說，對於任何一個L2正則化的線性模型，其最優的權重向量 w∗

支援向量機之推導（二）

SVM演算法要解決的是一個最優分類器的設計問題 線性SVM演算法的數學建模 一個最優化問題通常有兩個最基本的因素：1）目標函式，也就是你希望什麼東西的什麼指標達到最好；---- 分類間隔2）優化物件，你期望通過改變哪些因素來使你的目標函式達到最優。---決策面 線上性SVM演算法中，目標函式顯然就是那個

支援向量機學習筆記（二）：線性支援向量機

在前面已經講了線性可分支援向量機，是基於訓練集是線性可分的假設下，但是現實生活中往往資料集不是可分的，會存在著噪音或異常值，看下面的圖。 補充：個人習慣，接下來會將凸二次規劃模型稱為支援向量機模型，因為支援向量機是通過求解凸二次規劃模型最終得到分離超平面。另外分離超平面

機器學習：SVM（一）——線性可分支援向量機原理與公式推導

原理 SVM基本模型是定義在特徵空間上的二分類線性分類器（可推廣為多分類），學習策略為間隔最大化，可形式化為一個求解凸二次規劃問題，也等價於正則化的合頁損失函式的最小化問題。求解演算法為序列最小最優化演算法（SMO） 當資料集線性可分時，通過硬間隔最大化，學習一個線性分類器；資料集近似線性可分時，即存在一小

【深度學習基礎-05】支援向量機SVM（上）-線性可分

Support Vector Machine 目錄 1背景 2 機器學習的一般框架 3 什麼是超平面 4 線性可區分（linear separatable）和線性不可區分（linear inseparatable） 5 如何計算超平面以及舉例 1背景 Vladim

PCA+支援向量機-人臉識別（五）

一）：實驗準備 對於上篇中資料庫ORL人臉庫和AR人臉庫（下載地址在上篇中有），在上篇中討論的單純的PCA演算法對兩個資料庫進行了準確率計算，本篇為了提高識別準確率，特採用一種新方法，並結合PCA一起實現識別，實驗結果發現該方法能明顯提高兩者資料庫的識別率。 二）：關

支援向量機通俗導論（一）

第一層、瞭解SVM 支援向量機，因其英文名為support vector machine，故一般簡稱SVM，通俗來講，它是一種二類分類模型，其基本模型定義為特徵空間上的間隔最大的線性分類器，其學習策略

支援向量機學習筆記（三）：非線性支援向量機與SMO演算法

非線性問題 在之前學了線性支援向量機，通過訓練集學習到分離超平面 w x +

支援向量機學習筆記（一）：線性可分支援向量機

SVM是用來做二類分類的模型，有簡到難分為線性可分支援向量機（或者說硬間隔支援向量機）、線性支援向量機（軟間隔支援向量機）、非線性支援向量機。下面先講最簡單的線性可分支援向量機。 以下會按順序講到： 線性可分支援向量機介紹 函式間隔與幾何間隔 支援向量機模型推導

支援向量機原理小結（3）——核方法和非線性支援向量機

　　前面兩篇部落格對線性支援向量機進行了詳細的講解，但線性SVM對於非線性的資料是無可奈何的。這篇部落格將講一下非線性支援向量機。 1. 核方法 　　對SVM有過一定耳聞的人，一定聽說過“核技巧”、“核方法”這些名詞，其實核方法並不是只能應用於SVM，還

理解SVM（二）——線性不可分的情況

文章轉載自https://blog.csdn.net/puqutogether/article/details/41309745 理解SVM（二）——線性不可分的情況     前面一篇介紹了SVM的基本原理和程式碼實現。其中提到了原始的SVM對資料對好要線性可分的假設太嚴

solr 6.2.0系列教程（二）IK中文分詞器配置及新增擴充套件詞、停止詞、同義詞

前言 2、solr的不同版本，對應不同版本的IK分詞器。由於IK 2012年停止更新了。所以以前的版本不適合新版的solr。 有幸在網上扒到了IK原始碼自己稍微做了調整，用來相容solr6.2.0版本。IK原始碼下載地址 步驟 1、解壓下載的src.rar壓縮包，這是我建

SVM系列理論（十） SVR支援向量迴歸

1 敏感度損失函式 2 支援向量迴歸模型的匯出 3 對偶形式的匯出 4 KKT條件匯出支援向量 5 KKT條件匯出b的值