凸優化在數學優化中有著重要且特殊的身份。數學優化是一個廣泛的話題，理解凸優化之前，請先理解線性優化。在機器學習演算法中，已知的比如LogisticRegression,SVM,都與數學優化有關，在數學中，不存在無約束優化問題。比較常見的構建損失函式方法，從最簡單的兩個向量的二階範數的平方(KNN,Kmeans)到linearRegression、LogisticRegression的最小二乘模型，再到SVM的二次凸優化，都和數學優化理論緊密相關。本篇筆記主要學習數學優化的前奏部分：凸優化的概念部分。

1.1.1數學優化

--------------------①

這是數學優化的最基本形式。其中，x = (x1,x2,……xn)稱為優化變數，函式

稱為目標函式，函式稱為約束函式。常數稱為約束上限或者約束邊界。如果在所有滿足約束的向量中向量對應的目標函式值最小，那麼他就是問題的最優解。

在機器學習理論的推導中，一般只考慮特殊的優化問題，線性優化問題。對於上式，如果目標函式和約束函式都是線性函式，即對於任意的和，都有：

------------------------------------②

則此問題成為線性規劃。在機器學習演算法中，還需要進一步特化，就是凸優化。凸優化中目標函式和約束函式都屬於凸函式，即對於任意的，任意，都有：

--------------------------------③成立。比較③和②式可以發現，③式是②式的特殊形式。只用在

或者其中一個為0的情況下才成立。不同的是兩者的嚴格程度，後者凸優化是不太嚴格的線性優化問題。所以可以用線性優化的手段來解決凸優化問題，甚至包括特殊情況下的非線性規劃問題，也可以採取特殊手段往這個方向靠攏(目前在業內，對於非線性優化問題的求解還不算成熟)。上一篇部落格中推導過LogisticRegression的似然函式（與損失函式取反），其實屬於非嚴格意義上的凸優化問題,包括線性迴歸，這類問題的損失函式構建可以用最小二乘模型來解決，它本身屬於線性優化問題的範疇。(對於凸函式的定義，有不同的說法。比如，一般認為二階導數<0的函式屬於凸函式，>0屬於凹函式。因為二階導數<0意味著一階導數屬於減函式，也就是原函式的切線的斜率是不斷減小的，這種情況原函式就只能是先增後減了。)在凸優化中，如果函式的自變數是R，我們認為二階導數>=0的函式為凸函式，反之為凹函式。

對於凸優化問題，我們認為目標函式是成本函式，在優化變數滿足約束的情況下，讓成本或者損失最小。

1.1.2 線性優化問題的求解

在工程實際應用中，我們需要的是得到稀疏性的解，不僅可以減少迭代次數，還可以解決過擬合問題，增強模型的解釋能力。關於sparse問題，有專門的研究課題(比如lasso學術研究，CD演算法，LAR演算法)，這裡不討論。對於優化問題的求解，有兩類非常重要且廣泛的求解方法：最小二乘法和線性規劃問題。還有一類特殊的優化方法：凸優化。

1.2 最小二乘問題

線上性迴歸的損失函式的推導中，假定認為偏差( = real - predict)遵循Gaussian Destribution（N(0,1)）,根據判別學習模型估計最大似然函式，最後得出來的結論其實是最小二乘模型。最小二乘問題是迴歸問題，最優控制以及很多引數估計和資料擬合方法的基礎。在統計學中有著很重要的意義，比如給定包含高斯噪聲的線性測量值時，似然函式的估計的最優解是最小二乘法。如果目標函式是二次函式並且半正定(開口朝上，並且函式值不全>0) ,他就是最小二乘問題。

用數學公式來解釋，最小二乘問題屬於特殊的數學優化問題，沒有約束(m=0)。目標函式其實是由偏差組成的列向量的二階範數的平方(個人理解),如下形式的優化：

--------------------------------------④

其中，A可以理解為機器學習中特徵矩陣，x為估計引數，b為真實值組成的列向量，最後面的部分是拆解後的結果。在求解時，一般採用傳統的線上學習方法SGD。

正則化是此類問題的熱點。上個世紀90年代，有學者提出lasso，此後論文被引用了14000多次，由此可見lasso的重要性。在機器學習中，提高模型的泛化能力很重要。LogisticRegression的處理主要有嶺迴歸和L1範數，關於這方面，專門寫一篇部落格。

1.2.2 線性規劃

另一類比較重要的問題是線性規劃。如下形式：

-------------------⑤

。對線性規劃的求解 ，一般採用內點法，對於原始問題不是線性規劃的問題，可以通過一定的技巧轉化為線性規劃問題。作為一個簡單的例子，考慮Chybeshev逼近問題：

 

這個公式和前面的最小二乘很相似，不同的是這個公式取偏差的絕對值的最大值作為優化目標。求解這個問題，可以轉換成如下形式的線性規劃問題：

 1.3 凸優化

SVM就屬於典型的凸優化範疇。求解凸優化問題並不是一件特別難的事兒，難的在於如何判斷問題屬於凸優化問題，如何轉化成凸優化問題。在機器學習的範疇中，更多的是凸優化和非凸優化的判斷。求解凸優化的方法有內點法，但是凸優化的求解並不像最小二乘和線性規劃那樣成熟。凸優化的形式和公式①一樣，目標函式和約束函式都是凸函式。