淺談變分不等式與凸優化
【編者按】
變分不等式（Variational Inequality，以下簡稱VI），其實是一種很有意思的建模思路。不過即使在我和做優化的同行的日常交流當中，一般話題也很少能交流到VI上。本回答，我將給一個關於VI直觀和大概的介紹，並指出它的一些潛在價值。
的正式數學形式定義為：任給定義在巴納赫空間 
的一個子集 
上的泛函 
，其中 
是 
的對偶空間。 
等價於求滿足下列條件的點 
，使得 
(注意內 
是一定存在的)
為了直觀起見，我們只考慮 
且 
是n維實數域上任意的閉凸集（closed convex set）。這當然只是VI能夠model的很小一部分情況，不過在對本篇回答旨在給的直觀介紹已經足夠了。
在研究VI這個領域方面，我國的何炳生老師應該是國內領先，他也是專注了一輩子這個方向的研究。比如之前他和斯坦福的葉蔭宇老師在證明ADMM演算法收斂性的工作裡就集中使用了VI相關的技巧。本文也是主要參考了何老師主頁上關於VI的講義，如果大家對VI想有更深入的瞭解（比如具體不同演算法的設計和分析理論），強烈建議閱讀何老師網站上更加深入的講義內容。
首先我們指出 一般的光滑凸優化都可以看成一個單調的VI問題 。
我們考慮凸優化問題：
，注意 
是定義在 
上的可微凸函式。利用凸優化的最優條件，我們知道該問題的最優解 
等價於在該點上的 所有可行方向都不是梯度下降方向。 證明也很簡單，必要性方向用反證法：給定一個 
，如果存在這樣一個方向，那麼必然就存在 
使得 
，這和 
的定義矛盾。充分性方向利用凸函式的區域性極小=全域性極小的性質也是顯然的。
然而上述條件就等價於 
的定義 !
我們還可以進一步指出，當我們想顯式求解一個凸優化問題的時候（比如我們將 
X 定義為 
，這個時候我們等價 
的形式為將VI mapping拓展為 
。請讀者自行練習，應該基於前一部分的基礎是很容易推導的（提示：拉格朗日對偶；KKT條件）。
另外，我們指出 
可微並不是必要的 ，不然就有違我一開始所說的VI非常general了。這個時候，我們的凸優化問題仍然等價於求對應拉格朗日函式的鞍點，即定義 
，那麼鞍點 
等價於滿足條件 
這個時候的等價VI形式仍然留給大家做練習。值得注意的是，這個時候的VI會長的和之前我們看到的形式略有區別，這也叫做混合變分不等式，但很多時候也就不加區分統稱VI了。（提示：可以將 
從 
中分離出來） 
都不可微的情況當然也是可以的，不過這個時候就要使用次梯度（subgradient）來定義 
了。
VI還和一類更general的 非線性互補問題 等價。具體來說，非線性互補問題描述了一類集合 
，這類問題在資源供給，交通疏導中都有廣泛的運用。
最後，我想著重提一下VI在刻畫multi-agent system，即具有 可分離結構的優化問題 中的應用。不失一般性，我們就考慮2-block的情形，考慮如下優化問題 
，即我們的目標函式對於變數 
可分離，我們的線性約束同樣對於變數 
可分離。簡單起見，假設 
可微，我們對於這個問題的等價 
中的F取為 
.
這個時候，雖然本文我並沒有講VI的演算法應該如何設計，但大家應該已經能感覺到VI的mapping已經抓到了這個問題的可分離結構，即我們完全可以分散式地更 
的值而不需要知道另一個變數準確的值（當然，對偶變數 
的更新需要所有變數的值，可以把對偶變數看作coordinator）。那麼，假設原問題裡我們可以把原空間分解成大量小的子問題（比如我們有n個可分離的目標函式和一個n-block可分離的約束矩陣），我們可以想象這個VI具有一個可以高度分散式的演算法。這也是n-block ADMM演算法（雖然一般來說n>=3理論上的收斂性就不太好保證了）在實際中可以使用的思路。
最後的最後，如果我們考慮更一般的情形，約束具有可分離結構但不一定是線性的，這類multi-agent optimization問題實際上代表了計算一類generalized Nash equilibrium：直觀來說，也就是每個agent都有自己private的目標函式和約束，且在決策時也只能控制自己的那一部分變數，VI同樣能給出計算這類equilibrium的一個formulation。具體詳情請有興趣的同學可以參閱參考文獻[4]。
參考文獻
[1] http://maths.nju.edu.cn/~hebma/
[2] Chen, Caihua, et al. "The direct extension of ADMM for multi-block convex minimization problems is not necessarily convergent." Mathematical Programming 155.1-2 (2016): 57-79.
[3] He, Bingsheng, Min Tao, and Xiaoming Yuan. "Convergence rate analysis for the alternating direction method of multipliers with a substitution procedure for separable convex programming." Mathematics of Operations Research 42.3 (2017): 662-691.
[4] Facchinei, Francisco, and Christian Kanzow. "Generalized Nash equilibrium problems." 4OR 5.3 (2007): 173-210.