[對偶專題——Duality and Dual problem (一) https://blog.csdn.net/jmh1996/article/details/85030323]
對於一般的帶約束的優化問題：

介紹瞭如何通過構造原優化目標的一個下界函式 $L(x,\lambda ,$

原函式的影象與 $L(x,\lambda,u)$ 的影象是這樣的：

我們可以看到，對於一般的最優化問題，原函式的最小值其實和 $L(x,\lambda,u)$的最大值是存在一段距離的，他們並不相等。

如果他們相等的話，那麼我們就可以通過解對偶問題來求原目標函式的最小值，可以想象這會給問題求解帶來巨大的便利，因為對偶函式 $always$ 是個凸函式。

那麼什麼時候下對偶問題的最大值會等於原問題的最小值呢？

我們先看只有等式約束的情況：

現在只含有等式約束，其實是方便的很了。

假設 $f_0(x,y)和h(x,y)=0$的影象是這樣的：

如上圖所示，紅線是 $h(x,y)=0$ 這個等式確定的一條曲線。各個藍圈圈是 $f_0(x,y)=1,2,3···$形成的曲線。現在，我們觀察到當 $f_0(x,y)=2$ 的時候， $f_0(x,y)$ 與 $h(x,y)=0$ 相交於兩個點，此時目測當 $f_0(x,y)$繼續變小的時候，它和 $h(x,y)=0$ 依然還有交點，因此 $2$ 肯定就不是 $f_0(x,y)$的最小值。當 $f_0(x,y)=1$的時候，它和 $h(x,y)=0$ 只有一個交點了，交點是兩個曲線的切點處， $f_0(x,y)$ 再變小一點點 它就和紅線沒有交點了，因此 $f_0(x,y)$ 的最小值就是1。假設交點是 $(x^*,y^*)$。

注意到 $f_0(x,y)=1$ 與 $h(x,y)=0$ 相切於 $(x^*,y^*)$，根據相切的定義我們可以得到它們的梯度是共線的： $\bigtriangledown f_0(x,y)=\lambda \bigtriangledown h(x,y)$。

於是，對於帶等式約束 $h(x)=0$ 的最優化問題，我們可以得到。