1. 程式人生 > >基礎知識梳理2——凸優化與半定規劃(…

基礎知識梳理2——凸優化與半定規劃(…

凸優化:

Minimize f(x)

Subject to   x∈C  (2.1)

f是一個凸函式,C是一個凸集,x是優化變數。我們一般將其寫作:

基礎知識梳理2——凸優化與半定規劃(SDP)     (2.2)

即要求目標函式是凸函式,變數所屬集合是凸集合的優化問題。或者目標函式是凸函式,變數的約束函式是凸函式(不等式約束時),或者是仿射函式(等式約束時)。

而常見的範數函式是凸函式,一些範數約束形式的集合是凸集合。

常見的凸優化問題包括線性規劃、二次規劃、二次約束的二次規劃、半定規劃。

半定規劃:

易看出求L1範數相當於求線性規劃:

基礎知識梳理2——凸優化與半定規劃(SDP)    (LP).  (2.3)

L1範數是L0範數的凸近似。

該問題是一個對偶問題。同樣(不知道怎麼得出來的……)核範數有著半定規劃的特性:

基礎知識梳理2——凸優化與半定規劃(SDP)  (2.4)

這個式子體現出譜範數與核範數是對偶問題(同樣看不出來作者怎麼看出來的……見後面的解釋)。

W的譜範數的限制條件(可行域?)是一個半定規劃限制因為它等價於:

基礎知識梳理2——凸優化與半定規劃(SDP)                                   (2.5)

而(1.4)

    基礎知識梳理2——凸優化與半定規劃(SDP)

是一個半定規劃,可以將 表示成與(2.4)對偶的半定規劃的最優值。

(可是這一段對偶來對偶去的明顯看不懂啊!)

-------------------------------------------------------------------------------------------------------------------

= trace(基礎知識梳理2——凸優化與半定規劃(SDP))          A基礎知識梳理2——凸優化與半定規劃(SDP)B意思是A-B是半正定矩陣

——————————————————————————————————————————————

這次參考 史加榮,鄭秀雲,周水生.矩陣補全演算法研究進展.電腦科學,其中寫:

(2.4)這個優化問題等價於:

                                                     基礎知識梳理2——凸優化與半定規劃(SDP)

這個半定規劃問題的對偶規劃為:

                                               基礎知識梳理2——凸優化與半定規劃(SDP)

得到關於對E.J.Candes的理解:
——————————————————————————————————————————————
譜範數是最大奇異值,核範數是奇異值之和,即一個是奇異值向量的L∞範數,一個是奇異值向量的L1範數。