1. 程式人生 > >凸優化詳解

凸優化詳解

從兩個不等式說起:

兩個正數的算術平均大於等於其幾何平均:

                                               \ frac {a + b} {2} \ geqslant \ sqrt {ab},a> 0,b> 0

給定可逆對稱陣Q,對於任意的向量X,Y,有:

                                             x ^ {T} Qx + y ^ {T} Q ^ { -  1} y \ geqslant 2x ^ {T} y

這樣的問題都可以在凸函式的框架下得到解決。

然後再來看一下凸集和凸函式:例如Y = X ^ {2}的英文凸一個函式,函式的上方區域構成的集合就是凸集,這個函式是一個凸函式。

直線的向量表達:已知二維平面上有兩個點A(5,1),B(2,3)經過這兩點的直線方程為:

                                         x1 = 5 \ theta + 2(1- \ theta)x2 = \ theta +3(1- \ theta)\ theta \ in R \ Rightarrow 2x1 + 3x2-13 = 0

寫成向量形式就是:\ overline {x} = \ theta \ overline {a} +(1- \ theta)\ overline {b}

按我的理解就是引數每多一行,矩陣甲就多一列,解也多一行,\ THETA的和為1。

仿射集:通過集合Ç中任意兩個不同點的直線仍然在集合Ç內,則稱集合Ç為仿射集。

例如平面,取平面上兩點,連線兩點構成一條直線,直線仍然在這個平面內。

凸集:。集合Ç內任意兩點間的線段均在集合Ç內,則稱Ç為凸集區別就在於THETA的範圍一個為[R一個為[0,1]因此只要一個集合是仿射集,那麼這個集合一定是凸集(就是說凸集(大範圍)包括了仿射集(小範圍))(解釋:因為如果一個有界的凸邊形,任意兩點的線段在集合內,但是直線不在,有一部分會越界,所以是凸集不一定是仿射集,而仿射集而言因為直線都包括在內了,那麼這條直線的任意線段都在內,因此是仿射集就一定是凸集)

我的英文單位陣,乘以單位陣就是標準的球,乘以P這個例如[[0,2],[3,0]這個對稱正定矩陣,就相當於縮放了,就是一個橢球。

分割超平面的構造:假定有兩個集合C,d,在Ç中任取一點C,d中任取一點d,連線C,d,總能找到一條最短的線段CD,CD作的垂線,這條垂線就是集合C,d的分割超平面。

割線位於函式值的上方的函式就是凸函式。

海森矩陣:如果一個函式先對X求偏導再對ÿ求偏導等於先對ÿ求偏導再對X求偏導,那麼這對稱矩陣就是海森矩陣,它是正定的,也就是凸的,若二階導> = 0就是半正定的。正定是正數在ñ維空間的推廣。

傑森不等式:函式的和大於等於和的函式,即E(F(X))> = F(E(X)),自變數期望的函式值小於等於函式值求期望幾乎所有的不等式都可以看成某一個凸函式和傑森不等式結合得到的。

共軛就是相互之間是有影響的。

凸優化問題的基本形式:

                                           

網路連線(X)為凸函式,HJ(X)為放射函式,這樣的問題稱為凸優化問題,因為只有這樣才能保證拉格朗日對偶去求的最大值是原問題的最小值。

對偶:min(x)max(\ lambda,v)L(x,\ lambda)\ Rightarrow max(\ lambda,v)min(x)L(x,\ lambda,v)。進行了這樣的轉換稱為對偶,就將這樣一個最小值問題轉化為了一個最大值問題現在將(\拉姆達,v)的看作ý就轉化為F(X,Y)先求X的最小再求Ý的最大,但是會比原始問題偏小。

KKT條件:

INF(X)表示對X求偏導。