1. 原始問題

約束最優化問題的原始問題：

約束最優化問題轉化為無約束最優化問題：

廣義拉格朗日函式（generalized Lagrange function）:

是是拉格朗日乘子
特別要求：

原始問題的描述等價為：

這個地方如下理解：

原始問題最優化：

最優值：

2. 對偶問題

對偶問題：

對偶問題一定是凹的。

對偶問題最優化（極大值）：

原始問題最優化（極小值）：

對偶問題的最優值：

原始問題最優值：

3. 原始問題與對偶問題的關係

定理：若原始問題與對偶問題都有最優值，則

分別是原始問題和對偶問題的最優解的充分必要條件是：

滿足KKT條件：

關於KKT 條件的理解：前面三個條件是由解析函式的知識，對於各個變數的偏導數為0（這就解釋了一開始為什麼假設三個函式連續可微，如果不連續可微的話，這裡的偏導數存不存在就不能保證），後面四個條件就是原始問題的約束條件以及拉格朗日乘子需要滿足的約束。

由KKT對偶互補條件可知：a>0時,c =0`, SVM會用到.