寫在之前

支援向量機（SVM），一個神祕而眾知的名字，在其出來就受到了莫大的追捧，號稱最優秀的分類演算法之一，以其簡單的理論構造了複雜的演算法，又以其簡單的用法實現了複雜的問題，不得不說確實完美。
本系列旨在以基礎化的過程，例項化的形式一探SVM的究竟。曾經也只用過整合化的SVM軟體包，效果確實好。因為眾人皆說原理複雜就對其原理卻沒怎麼研究，最近經過一段時間的研究感覺其原理還是可以理解，這裡希望以一個從懵懂到略微熟知的角度記錄一下學習的過程。
其實網路上講SVM演算法的多不勝數，部落格中也有許多大師級博主的文章，寫的也很簡單明瞭，可是在看過之和總是感覺像差點什麼，當然對於那些基礎好的可能一看就懂了，然而對於像我們這些薄基礎的一遍下來也能馬馬虎虎懂，過一兩天後又忘了公式怎麼來的了。比如說在研究SVM之前，你是否聽說過拉格朗日乘子法？你是否知道什麼是對偶問題？你是否瞭解它們是怎麼解決問題的？Ok這些不知道的話，更別說什麼是KKT條件了，哈哈，有沒有說到你的心聲，不用怕，學學就會了。話說像拉格朗日乘子法，在大學裡面學數學的話，不應該沒學過，然你學會了嗎？你知道是幹什麼的嗎？如果那個時候就會了，那你潛質相當高了。作為一個剛過來的人，將以簡單例項化形式記錄自己的學習過程，力圖幫助新手級學習者少走彎路。

（一）關於拉格朗日乘子法

首先來了解拉格朗日乘子法，那麼為什麼需要拉格朗日乘子法？記住，有拉格朗日乘子法的地方，必然是一個組合優化問題。那麼帶約束的優化問題很好說，就比如說下面這個：

minf=2x21+3x22+7x23s.t.2x1+x2=12x2+3x3=2

這是一個帶等式約束的優化問題，有目標值，有約束條件。那麼想想假設沒有約束條件這個問題是怎麼求解的呢？是不是直接f對各個x求導等於0,，解x就可以了，可以看到沒有約束的話，求導為0，那麼各個x均為0吧，這樣f=0了，最小。但是x都為0不滿足約束條件呀，那麼問題就來了。這裡在說一點的是，為什麼上面說求導為0就可以呢？理論上多數問題是可以的，但是有的問題不可以。如果求導為0一定可以的話，那麼f一定是個凸優化問題，什麼是凸的呢？像下面這個左圖：

凸的就是開口朝一個方向（向上或向下）。更準確的數學關係就是：

f(x1)+f(x2)2>f(x1+x22)或者f(x1)+f(x2)2<f(x1+x22)
注意的是這個條件是對函式的任意x取值。如果滿足第一個就是開口向上的凸，第二個是開口向下的凸。可以看到對於凸問題，你去求導的話，是不是隻有一個極點，那麼他就是最優點，很合理。類似的看看上圖右邊這個圖，很明顯這個條件對任意的x取值不滿足，有時滿足第一個關係，有時滿足第二個關係，對應上面的兩處取法就是，所以這種問題就不行，再看看你去對它求導，會得到好幾個極點。然而從圖上可以看到，只有其中一個極點是最優解，其他的是區域性最優解，那麼當真實問題的時候你選擇那個？說了半天要說啥呢，就是拉格朗日法是一定適合於凸問題的，不一定適合於其他問題，還好我們最終的問題是凸問題。

回頭再來看看有約束的問題，既然有了約束不能直接求導，那麼如果把約束去掉不就可以了嗎？怎麼去掉呢？這才需要拉格朗日方法。既然是等式約束，那麼我們把這個約束乘一個係數加到目標函式中去，這樣就相當於既考慮了原目標函式，也考慮了約束條件，比如上面那個函式，加進去就變為：

minf=2x21+3x22+7x23+α1(2x1+x2−1)+α2(2x2+3x3−2)
這裡可以看到與α1,α2相乘的部分都為0，所以α1,α2的取值為全體實數。現在這個優化目標函式就沒有約束條件了吧，既然如此，求法就簡單了，分別對x求導等於0，如下：
∂f∂x1=4x1+2α1=0⇒x1=−0.5α1∂f∂x2=6x2+α1+2α2=0⇒x2=−α1+2α26∂f∂x3=14x3+3α2=0⇒x3=−3α214

把它在帶到約束條件中去，可以看到，2個變數兩個等式，可以求解，最終可以得到α1=−0.39,α2=−1.63,這樣再帶回去求x就可以了。那麼一個帶等式約束的優化問題就通過拉格朗日乘子法完美的解決了。那麼更高一層的，帶有不等式的約束問題怎麼辦？那麼就需要用更一般化的拉格朗日乘子法即KKT條件來解決這種問題了。

（二）關於KKT條件

繼續討論關於帶等式以及不等式的約束條件的凸函式優化。任何原始問題約束條件無非最多3種，等式約束，大於號約束，小於號約束，而這三種最終通過將約束方程化簡化為兩類：約束方程等於0和約束方程小於0。再舉個簡單的方程為例，假設原始約束條件為下列所示：

minf=x21−2x1+1+x22+4x2+4s.t.x1+10x2>1010x1−10x2<10
那麼把約束條件變個樣子：
s.t.10−x

相關推薦

解密SVM系列（一）：關於拉格朗日乘子法和KKT條件

寫在之前 支援向量機（SVM），一個神祕而眾知的名字，在其出來就受到了莫大的追捧，號稱最優秀的分類演算法之一，以其簡單的理論構造了複雜的演算法，又以其簡單的用法實現了複雜的問題，不得不說確實完美。 本系列旨在以基礎化的過程，例項化的形式一探S

約束極值問題：拉格朗日乘子法、KKT條件與對偶理論

1 等式約束極值問題 考慮非線性規劃 min⁡f(x)x∈Rns.t.φi(x)=0,i=1,⋯&ThinSpace;,m\begin{aligned} \min &amp;\quad f(\bm{x}) \quad \bm{x}\in\R^

拉格朗日乘子法和KKT條件

數值 想象 radi 如果 ont inf 解決 tex spa 1. 拉格朗日乘子(Lagrange Multiplier)法 假設函數z=f(x,y)，求該函數的最小值，如果沒有約束條件，則可以表示為minf(x,y)，要求出minf(x,y)很簡單，根據Fermat

真正理解拉格朗日乘子法和KKT條件

 這篇博文中直觀上講解了拉格朗日乘子法和 KKT 條件，對偶問題等內容。 首先從無約束的優化問題講起，一般就是要使一個表示式取到最小值： minf(x)minf(x)  如果問題是 maxf(x)maxf(x) 也可以通過取反轉化為求最小值min−f(x

詳解SVM系列（二）：拉格朗日對偶性

拉格朗日函式有什麼用？ 在約束最優化問題中，常常利用拉格朗日對偶性將原始問題轉換為對偶問題，通過解對偶問題而得到原始問題的解。 原始問題： 假設 f (

SVM演算法（深入理解拉格朗日乘子法與KKT條件的證明）

SVM應該是一個應用到數學知識很多的AI演算法，關於KKT的證明花了很長時間，裡面涉及到大量線性代數的知識。 對偶關係、方向導數與梯度的關係、梯度方向與構造的可取區域的關係、拉格朗日乘子引入的真實含義等等。 （一）間隔與支援向量 SVM（support vector

機器學習數學原理（5）——廣泛拉格朗日乘子法

機器學習數學原理（5）——廣泛拉格朗日乘子法 這一篇部落格針對的是有約束的凸優化問題，主要是為後面的最優間隔分類器以及其演化的SVM（支援向量機，Support Vector Machine）演算法作鋪墊。Andrew Ng在講解最優間隔分類器時運用了廣泛拉格朗日乘子法但並沒有講的十

拉格朗日乘子法及KKT條件證明

一、簡介 在取有約束條件的優化問題時，拉格朗日乘子法（Lagrange Multiplier) 和KKT條件是非常重要的兩個求取方法，對於等式約束的優化問題，可以應用拉格朗日乘子法去求取最優值；如果含有不等式約束，可以應用KKT條件去求取。當然，這兩個方法求得的結果只是必要條件，只有

機器學習 --- 拉格朗日乘子法和KTT條件

本篇文章主要為之後的支援向量機打下數學基礎   一、拉格朗日乘子法的目的 拉格朗日乘子法將原始的約束問題轉換成求解無約束優化問題。 對形如： 通過拉格朗日乘子法轉化成： 通俗地說就是轉換目標函式，把約束條件去掉。  

約束優化方法之拉格朗日乘子法與KKT條件

引言 本篇文章將詳解帶有約束條件的最優化問題，約束條件分為等式約束與不等式約束，對於等式約束的優化問題，可以直接應用拉格朗日乘子法去求取最優值；對於含有不等式約束的優化問題，可以轉化為在滿足 KKT 約束條件下應用拉格朗日乘子法求解。拉格朗日求得的並不一定是最優解，只有在凸

拉格朗日乘子法與KKT條件

1. 一般約束優化問題 一般約束優化問題的形式為：   定義拉格朗日函式為：   則一般約束優化問題的最優性條件（KKT條件）：   2. 對偶問題 一個優化問題可以從兩個角度來考慮，一是被優化的原

【機器學習之數學】03 有約束的非線性優化問題——拉格朗日乘子法、KKT條件、投影法

目錄 將有約束問題轉化為無約束問題 拉格朗日法 KKT條件 拉格朗日法更新方程 凸優化問題下的拉格朗日法 罰函式法 對梯度演

最優化：拉格朗日乘子法

作者：桂。 時間：2017-03-27 20:26:17 宣告：歡迎被轉載，不過記得註明出處哦~  【讀書筆記06】 前言 看到西蒙.赫金的《自適應濾波器原理》第四版第四章：最速下降演算法。最速下降法、擬牛頓法等都是求解準則函式（即無約束優化問題）的演算法，這就需要有一個前提：怎樣得

對拉格朗日乘子法與KKT的理解

在求解最優化問題中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）條件是兩種最常用的方法。在有等式約束時使用拉格朗日乘子法，在有不等約束時使用KKT條件。 　　我們這裡提到的最優化問題通常是指對於給定的某一函式，求其在指定作用域上的全域性

基礎數學知識（一）——拉格朗日乘子法

　　這幾天一直在看支援向量機，然後就是大量大量的數學公式，一直迷迷糊糊的，然後一直遇到拉格朗日，拉格朗日，原來數學基礎也不好，沒怎麼學過，於是下定決心要把拉格朗日乘子法搞懂，花了幾天，看了一些文章，算是對拉格朗日乘子法有了簡單的瞭解，下面就和大家簡單的分享分享啦

拉格朗日乘子法（有約束優化問題）

                     拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)條件是求解約束優化問題的重要方法，在有等式約束時使用拉格朗日乘子法，在有不等約束時使用KKT條件。前提是：只有當目標函式為凸函式時，使用這兩種方法才保證求得的是最優

拉格朗日乘子法（Lagrange Multiplier）和KKT條件

一：前言 如果我們現實生活中的多元值求最優化的問題，我們會遇到一下三種場景： 無條件約束的優化問題 有等式約束的優化問題 有不等式約束的優化問題 而拉格朗日乘子法和KKT條件是現實生活中求解這類優化問題兩種非常重要的求值方法。這裡我們將從上邊的上個場景

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT條件

比較 log lan 條件 出了 net csdn art blank 這篇將拉格朗日函數比較全面，其中明確給出了拉格朗日函數，拉格朗日乘子的定義 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT條件深入理解拉格朗日乘子法（Lagrange Mu

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT條件 (約束優化問題)

在求解最優化問題中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）條件是兩種最常用的方法。在有等式約束時使用拉格朗日乘子法，在有不等約束時使用KKT條件。　　我們這裡提到的最優化問題通常是指對於給定的某一函式，求其在指

數學基礎系列(四)----拉格朗日乘子法、行列式、矩陣基礎

一、拉格朗日乘子法 1、通俗解釋 給個函式：$Z=f(x,y)$如何求出它的極值點呢？有了前面的知識，簡單來說直接求它的偏導不就OK了嗎？ 　　 那現在假如說對這個函式加上一個約束條件呢？也就說現在假如有這樣一個約束條件$2xy+2yz+2zx=S$，那該怎麼樣求出函式$Z(x,y,z)=xyz$的最大值呢