支援向量機(SVM)中對偶問題的理解

在硬間隔支援向量機中，問題的求解可以轉化為凸二次規劃問題：

\begin{matrix} (1) & \begin{aligned} (1) & min_{w, b} \frac{1}{2} | | w | |^{2} \\ (2) & s . t . y_{i} (w^{T} x_{i} + b) \geq 1, i = 1, 2, \dots, m . \end{aligned} \end{matrix}

如何得到該式的可參考：支援向量機

理解一

\begin{matrix} (2) & min_{w, b} max_{α_{i} \geq 0} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))} \end{matrix}

上式等價於原問題，因為若滿足(1)中不等式約束，則(2)式求max時，

α_{i} (1 - y_{i} (w^{T} x_{i} + b))

必須取0，與(1)等價；若不滿足(1)中不等式約束，(2)中求max會得到無窮大。
交換min和max獲得其對偶問題

max_{α_{i} \geq 0} min_{w, b} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))}

交換之後的對偶問題和原問題並不相等，直觀地，我們可以這樣來理解：胖子中最瘦的那個都比瘦子中最胖的那個要胖。故上式的解小於等於原問題的解。當然這是很不嚴格的說法，而且扣字眼的話可以糾纏不休，所以我們還是來看其他嚴格數學意義上的理解。

現在的問題是如何找到問題(1) 的最優值的一個最好的下界?

\begin{matrix} (3) & \frac{1}{2} | | w | |^{2} < v 1 - y_{i} (w^{T} x_{i} + b) \leq 0 \end{matrix}

若方程組(3)無解，則v是問題(1)的一個下界。

若(3)有解，則

\forall α > 0, min_{w, b} {\frac{1}{2} | | w | |^{2} + \sum_{i = 1}^{m} α_{i} (1 - y_{i} (w^{T} x_{i} + b))} < v