1.?概述

從這裏開始，為了復習所學知識，也是為了更加深刻地探討優化理論中的相關知識，所以將凸優化中的基礎概念做一個整理，然後形成一個凸優化系列隨筆。本系列將涉及部分數學推導，強調理論性，所以按需閱讀（能不能通俗地表達出來我就不知道了）。凸優化問題通俗地講，是一種優化問題，而且是一種簡單的優化問題（因為生活中大部分例子與問題都是非凸優化問題，但是部分可以轉換為凸優化）。當然，大家高中應該學過線性規劃（目標函數和可行解域由線性不等式構成），可以將凸優化看做線性規劃的拓展。

2.?預備知識

（1）直線的表示，假設有一個n維空間，已知兩點（\(x_1，x_2\)，統一用向量形式表示），\(x_1，x_2 \in R^n\)

（2）線段的表示，聰明的你一定已經想到了，只要限定參數\(\theta\)即可表示線段，木有錯，只要參數\(\theta\in[0,1]\)即可表示，x1和x2構成的線段。

3.?仿射集（affine Set）：

3.1 定義

（1）仿射（affine）定義：對於集合\(C\subseteq{R^n}\)

（2）仿射集（affine set）定義：仿射集包含了集合內點的所有仿射組合。若C是仿射集，\(x_1,x_2...x_n\in C,\theta_1+\theta_2+...+\theta_n=1\)，則\(\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}\)也屬於仿射集合C。

（3）仿射包（affine hull）定義：仿射包是包含C的最小的仿射集，表示為：\[aff\quad C=\{\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}|x_1,x_2...x_n\in C,\theta_1+\theta_2+...+\theta_n=1\}\]

定義看上去可能有些復雜（能來看這文章的應該都能看懂），意思很簡單，就是說從一個仿射集中選取k個點，然後這k個點的線性組合依舊屬於這個仿射集。

3.2 性質

（1）性質一，即仿射集的定義，任意屬於仿射集的點的線性組合，且滿足權重之和為1，其組合點依舊屬於仿射集。

\(\quad\)emmm,證明嘛，可以通過數學歸納法證明，簡單演示一下3維空間的情況吧：假設有仿射集C，\(x_1,x_2,x_3\in C,\theta_i\in R,且\theta_1+\theta_2+...+\theta_n=1\),已知二維空間裏\(\theta_1{x_1}+(1-\theta)x_2\in C\),那麽即證明\(\theta_1{x_1}+\theta{x_2}+\theta_3{x_3}\in C\)。首先構造這樣的形式：\[\frac{\theta_1}{\theta_1+\theta_2}x_1+\frac{\theta_2}{\theta_1+\theta_2}x_2\tag{1}\]顯然其屬於仿射集C，然後接著構建\((\theta_1+\theta_2)(1)+(1-\theta_1-\theta_2)x_3\tag{2}\),顯此點依舊在仿射集C內，打開此式，得到\(\theta_1{x_1}+\theta{x_2}+\theta_3{x_3}]\tag{3}\),而（2）式即為（3）式，得證。

（2）性質二，\(V = C-x_0=\{x-x_0|x \in C\},且\forall x_0\in C\)。意思就是任對所有的仿射集元素減去一個確定在仿射集中的元素x0，得到的新集合依舊是仿射集，稱其為C相關的子空間，其實還有個特殊性質，就是V這個集合裏的\(\theta\in R\)。證明就略過吧，和性質一類似。

（3）性質三（important），線性方程組的解集是仿射集。\(C = \{x|Ax=b\},A\in R^{m\times n},b\in R^{m},x\in R^n\).

\(\quad\)這個概念很重要，來讓我們證明證明，首先已知線性方程組\(Ax=b，\forall x_1,x_2\in C\),則滿足\(Ax_1=b,Ax_2=b\),然後呢，構建參數\(\theta\in R\),只要證明\(A(\theta{x_1}+(1-\theta)x_2)=b\)即可。簡單代入一下得到\(\theta{Ax_1}+(1-\theta)Ax_2\)顯然等於b。原命題得證。附加一點，其子空間\(V = \{x|Ax=0\},A\in R^{m\times n},x\in R^n\}\)是一個化零空間。

反過來，任意仿射集都可以寫成一個線性方程組的解集也是正確的。

4 凸集（Convex Set）：

4.1 定義

（1）凸（convex）的定義：對於集合\(C\subseteq{R^n}\)，如果通過集合C中任意兩個不同點之間的線段（註意啦！是線段了）仍在集合C中，則稱集合C為凸（convex）。

（2）凸組合：\(\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}\)的點，其中\(\theta_i\geq 0,\theta_1+\theta_2+...+\theta_n=1\)，則稱點\(x_1,x_2,...,x_n\)稱為凸組合。

（3）凸集：該集合包含了所有點的凸組合

（4）凸包：最小的凸集，表示為\[conv \quad C = \{\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}|x_i\in C, \theta_i\geq 0,\theta_1+\theta_2+...+\theta_n=1\}\]

4.2 性質

（1）性質一，所有仿射集都是凸集。根據定義來，仿射集是組合的直線在仿射集內，那麽線段肯定在集合內，所以肯定是凸集。

（2）性質二，若B為凸集且包含集合C，那麽\(conv\quad C \subseteq B\)。

仿射集與凸集