解決一個機器學習問題的一般套路是先構建一個目標函數，然後解決一個優化問題。目標函數通常由損失函數和正則項組成。常見的損失函數log-loss,square-loss,cross-entropy-loss等，常見的正則化方法有L1正則、L2正則等，常見的優化方法有梯度下降、隨機梯度下降等。SVM也可以按照這種模式來重新定義。

首先，損失函數

\( l(y_i,y_i‘) = max(0,1-y_iy_i‘) \),稱之為hinge-loss. 實際值y的取值為-1和1，容易看出，只要實際值和預測值不同，損失函數就會大於0，當實際值和預測值相同的時候，預測值的絕對值越大越好

然後，構建目標函數

obj(w,b) = \(\sum_{i=1}^{N}max(0,1-y_i(w \dot x_i+b)) + c||w||^2\)

可以證明

上述目標函數和上篇文章中得到的優化目標

\(min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{N}\xi_i\)

s.t \(y_i(w\cdot x_i+b)>=1-\xi_i, i=1,2,...N\)

\(\xi_i>=0,i=1,2,3...N\)

等價

參考：李航《統計學習方法》

SVM算法的另外一種理解