凸優化理論本身非常博大，事實上我也只是瞭解了一個皮毛中的皮毛，但是對於廣大僅僅想要了解一下機器學習或者深度學習的同學來說，稍微瞭解一點凸優化也就夠了。在實際工程問題中，比如現在我們用的最多的深度神經網路的求解優化問題，都是非凸的，因此很多凸優化理論中非常有價值的定理和方法，在非凸優化問題中不適用，或者說並沒有收斂保證等。但是，作為知識的基礎，依然有必要來理解和學習一下凸優化，本篇整理了非常基礎的一些概念。主要參考網上一些資料，和《凸優化》這本書的一些概念。

凸優化理論基礎中的基礎

1. 為什麼要學習凸優化？

凸優化在數學規劃領域具有非常重要的地位。一旦將一個實際問題表述為凸優化問題，大體上意味著相應問題已經得到徹底解決，這是非凸的優化問題所不具有的性質。其應用非常廣泛，機器學習中很多優化問題都要通過凸優化來求解；在非凸優化中，凸優化同樣起到重要的作用，很多非凸優化問題，可以轉化為凸優化問題來解決；

2. 什麼是優化問題？

3. 什麼是凸優化問題？

4. 什麼是凸函式？

有一個經典的示意圖：

凸函式的幾何意義表示為函式任意兩點的連線上的取值大於該點在函式上的取值
5. 凸函式的一階充要條件

一階條件的意義是，對於函式在定義域的任意取值，函式的值都大於或者等於對函式在這點的一階近似。用圖來說明就是下圖：

口語化理解就是說凸函式總是在其任意一點的切線的上方（或者可以有部分相切的）。通過圖可以很清楚地理解這個充要條件，但是，具體在應用中，我們不可能對每一個點都去計算函式的一階導數，因此後面會說道利用凸函式的二階特徵來進行判斷一個函式是否是一個凸函式。下面貼一下證明充分性和必要性的過程，來自《convex optimization》，不是很在意的同學可以跳過，直接看下一節。但是建議手推一下，還是比較簡單的：

6. 凸函式的二階充要條件
記函式的一階導數和二階導數為g和H，

g=∇f=⎡⎣⎢⎢⎢⎢⎢⎢⎢∂f∂x1∂f∂x2⋮∂f∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥H=∇2f=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂2x1∂2f∂2x1x2⋮∂2f∂2xnx1∂2f∂x1x2∂2f∂x22⋮∂2f∂xnx2⋯⋯⋱⋯∂2f∂x1xn∂2f∂x2xn⋮∂2f∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥$$g=\mathrm{\nabla }f=\left[\begin{array}{c}\frac{\mathrm{\partial }f}{\mathrm{\partial }{x}_1}\\ \frac{\mathrm{\partial }f}{\mathrm{\partial }{x}_2}\\ ⋮\\ \frac{\mathrm{\partial }f}{\mathrm{\partial }{x}_n}\end{array}\right]H={\mathrm{\nabla }}^{2}f=\left[\begin{array}{cccc}\frac{{\mathrm{\partial }}^{2}f}{{\mathrm{\partial }}^2{x}_1}& \frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}_1{x}_2}& \cdots & \frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}_1{x}_n}\\ \frac{{\mathrm{\partial }}^{2}f}{{\mathrm{\partial }}^2{x}_1{x}_2}& \frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}_2^2}& \cdots & \frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}_2{x}_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\mathrm{\partial }}^{2}f}{{\mathrm{\partial }}^2{x}_n{x}_1}& \frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}_n{x}_2}& \cdots & \frac{{\mathrm{\partial }}^{2}f}{\mathrm{\partial }{x}_n^2}\end{array}\right]$$

其中要求函式

f$f$二階可微，則函式f$f$在定義域上式convex函式的充要條件是：函式的二階導數（即Hessian矩陣）是半正定的，也就是所有的特徵值都是大於等於0的。特殊的，對於一元函式，可以退化為f′′(x)≥0$f^{″}(x)\ge 0$。

凸函式舉例 [10]

舉例用二階充要條件來證明log-sum-exp函式是convex的：

最後一步用到了柯西不等式，很巧妙。

Hessian矩陣與牛頓法

上面提到了函式的二階導數是Hessian矩陣，Hessian矩陣經常用於牛頓法優化方法中。牛頓法是一種迭代求解方法，有一階和二階方法，主要應用在兩個方面：1、求方程的根， 2、 最優化方法。

（1）牛頓迭代求解方程的根：

並不是所有的方程都有求根公式, 或者求根公式很複雜, 導致求解困難. 利用牛頓法, 可以迭代求解。原理是利用泰勒公式, 在x0$x_0$處展開, 且展開到一階, x=x0+δ$x=x_0+\delta$

f(x)=f(

相關推薦

深度學習/機器學習入門基礎數學知識整理（三）：凸優化，Hessian，牛頓法

凸優化理論本身非常博大，事實上我也只是瞭解了一個皮毛中的皮毛，但是對於廣大僅僅想要了解一下機器學習或者深度學習的同學來說，稍微瞭解一點凸優化也就夠了。在實際工程問題中，比如現在我們用的最多的深度神經網路的求解優化問題，都是非凸的，因此很多凸優化理論中非常有價值的

深度學習/機器學習入門基礎數學知識整理（五）：Jensen不等式簡單理解，共軛函式

Jensen不等式及其延伸 凸函式最基本的不等式性質，又稱Jensen不等式[1] f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) 通俗一點講就是，期望的函式值小於等於函式值的期望。

深度學習/機器學習入門基礎數學知識整理（一）：線性代數基礎，矩陣，範數等

前面大概有2年時間，利用業餘時間斷斷續續寫了一個機器學習方法系列，和深度學習方法系列，還有一個三十分鐘理解系列（一些趣味知識）；新的一年開始了，今年給自己定的學習目標——以補齊基礎理論為重點，研究一些基礎課題；同時逐步繼續寫上述三個系列的文章。 最近越來越多的

深度學習實踐操作—從小白到大白（三）：Linux遠端控制

深度學習實踐操作—從小白到大白 目錄 三. Linux遠端控制 在具體使用時，特別是實驗室或者工作時多人使用同一臺伺服器，一般通過本機遠端控制。 本機是Linux系統，使用ssl指令即可：ssh –l 使用者名稱 IP地址 ssh

hbase學習教程（三）：HBase優化技巧、HBase基本命令、使用Java API對HBase伺服器進行操作

HBase優化技巧 1 修改 linux 系統引數 Linux系統最大可開啟檔案數一般預設的引數值是1024,如果你不進行修改併發量上來的時候會出現“Too Many Open Files”的錯誤，導致整個HBase不可執行，你可以用ulimit -n 命令

Python基礎班每日整理（三）

換行符 轉義 開發 賦值 val 滿足 輸出內容 訪問 次數 02_Python基礎_day04 while循環的基本格式初始化計數器while 條件:滿足條件要重復執行的代碼……修改計數器 明白break和continue兩個關鍵字的作用，兩者的區別是什麽？break和

Python3入門與進階筆記（三）：迴圈

表示式的優先順序：    例：        a=1        b=2        c=2        not a or b + 2 == c + 2 結果為 True，等價於 ( ( not a ) or ( b + 2 ) ) == ( c + 2 )迴圈    

搞深度學習需掌握的基礎數學知識

       IT 網際網路行業有個有趣現象，玩資本的人、玩產品的人、玩技術的人都能很好的在這個行業找到自己的位置並取得成功，而且可以只懂其中一樣，不需要懂其餘兩樣。玩技術的人是裡面最難做的，也是三者收益最低的，永遠都要不停學習，不停把畫餅變成煎餅。 在今年 5

機器學習數學基礎之矩陣理論（三）

gis 引入 定義 增加 2017年 理論值 nbsp 得到 正數 矩陣求導 目錄 一、 矩陣求導的基本概念 1. 一階導定義 2. 二階導數 二、 梯度下降 1. 方向導數. 1.1 定義 1.2 方向導數的計算公式. 1.3 梯度下降最快的方向 1.

機器學習、深度學習的理論與實戰入門建議整理（三）

機器學習、深度學習的理論與實戰入門建議整理 http://blog.csdn.net/zyj098765/article/details/52860183 作者：muzhi 目錄 引言 小結 階段三.實戰入門

人工智慧入門（三）：機器學習問題的基本型別

1:concept learning:version space，decision tree等； 2:rule learning：If-then rules, association rules, genetic programming等； 3. instance-based learning（

機器學習與計算機視覺入門專案——視訊投籃檢測（三）

在第二部分，我記錄了實驗中提取影象特徵的HOG運算元及其實現程式碼，我們接下來就要構造幾個簡單的分類器，對資料集的HOG特徵來分類，實現進球/不進球的分類任務。 分類器的設計和選擇 實驗中要用到的分類模型主要有四個： logistic迴歸 SVM支援向量機

Matlab 數學建模 方法（四）： 機器學習

1. MATLAB機器學習概況 機器學習 ( Machine Learning ) 是一門多領域交叉學科，它涉及到概率論、統計學、電腦科學以及軟體工程。 機器學習是指一套工具或方法，憑藉這套工具和方法，利用歷史資料對機器進行“訓練”進而“學習”到某種模式或規律，並建立預測

機器學習之支持向量機（三）：核函數和KKT條件的理解

麻煩 ron 現在 調整 所有 核函數 多項式 err ges 註：關於支持向量機系列文章是借鑒大神的神作，加以自己的理解寫成的；若對原作者有損請告知，我會及時處理。轉載請標明來源。 序： 我在支持向量機系列中主要講支持向量機的公式推導，第一部分講到推出拉格朗日對偶函數的對

機器學習算法整理（三）決策樹

outlook spa com width 選擇 clas .com img 衡量標準 決策樹的訓練與測試 如何切分特征（選擇節點） 衡量標準-熵 信息增益 決策樹構造實例 信息增益：表示特

TensorFlow系列專題（三）：深度學習簡介

一.深度學習的發展歷程 深度學習的起源階段 深度學習的發展階段 深度學習的爆發階段 二.深度學習的應用 自然語言處理 語音識別與合成 影象領域 三．參考文獻   一.深度學習的發展歷程 作為機器學習

機器學習該如何應用到量化投資系列（三）

《基於 MT-SVM 模型的市場預測》 • 由於 A 股市場並非完全有效以及市場具有的分形特徵和記憶性，從理論上來說對股票市場一段時間內的市場趨勢所發生的概率進行預測成為可能。 • 我們構建了 MT-SVM 預測模型來對市場漲跌方向進行預測。 預測模型的引數主要用到巨集觀經濟變數、 技術指標變數以及市場價格

《機器學習實戰》筆記（三）：樸素貝葉斯

4.1 基於貝葉斯決策理論的分類方法 樸素貝葉斯是貝葉斯決策理論的一部分，貝葉斯決策理論的的核心思想，即選擇具有最高概率的決策。若p1(x,y)和p2(x,y)分別代表資料點(x,y)屬於類別1,2的概率，則判斷新資料點(x,y)屬於哪一類別的規則是： 4.3 使用條件概率來分類

深度學習論文翻譯解析（三）：Detecting Text in Natural Image with Connectionist Text Proposal Network

論文標題：Detecting Text in Natural Image with Connectionist Text Proposal Network 論文作者：Zhi Tian , Weilin Huang, Tong He , Pan He , and Yu Qiao 論文原始碼的下載地址：htt

機器學習筆記（三）：線性迴歸大解剖（原理部分）

進入機器學習，線性迴歸自然就是一道開胃菜。雖說簡單，但對於入門來說還是有些難度的。程式碼部分見下一篇，程式碼對於程式設計師還是能能夠幫助理解那些公式的。 （本文用的一些課件來自唐宇迪的機器學習，大家可以取網易雲課堂看他的視訊，很棒） 1.線性迴歸的一些要點 先說