1. 程式人生 > >線性支援向量機-合頁損失函式(Hinge Loss)

線性支援向量機-合頁損失函式(Hinge Loss)

  線性支援向量機學習有另一種解釋,那就是最小化以下目標函式:
i = 1 N [

1 y i ( w x i
+ b ) ] + + λ
w 2 \sum_{i=1}^N[1-y_i(w · x_i+b)]_+ + \lambda ||w||^2
目標函式得第一項是經驗損失函式或者經驗風險,函式 L ( y ( w x + b ) ) = [ 1 y ( w x + b ) ] + L(y(w·x+b)) = [1-y(w·x+b)]_+ 稱為合頁損失函式。下標+表示以下取正值得函式。
[ z ] + = { z , z > 0 0 , z 0 [z]_+ =\begin{cases} z,&z>0\\ 0,&z \le 0 \end{cases}
目標函式第二項是係數為 λ \lambda w w L 2 L_2 範數,是正則化項。

定理證明

線性支援向量機原始最優化問題:
(1) min w , b , ξ 1 2 w 2 + C i = 1 N ξ i \min_{w,b,\xi} \dfrac{1}{2} ||w||^2 + C\sum_{i=1}^{N}\xi_i \tag{1}
(2) s . t .   y i ( w x i + b ) 1 ξ i , i = 1 , 2 , , N s.t. \ y_i(w·x_i+b) \ge 1- \xi_i,i=1,2,\dots,N \tag{2}
(3) ξ i 0 , i = 1 , 2 , , N \xi_i \ge 0,i=1,2,\dots,N \tag{3}
等價於最優化問題 (4) min w , b i = 1 N [ 1 y i ( w x i + b ) ] + + λ w 2 \min\limits_{w,b} \sum_{i=1}^N [1-y_i(w·x_i+b)]_+ + \lambda||w||^2 \tag{4}

證明:
[ 1 + y i ( w x i + b ) ] + = ξ i [1+y_i(w·x_i+b)]_+ = \xi_i ,則 ξ i 0 \xi_i \ge 0 ,式(2)成立。
1 y i ( w x i + b ) > 0 1-y_i(w·x_i+b)>0 時,有 1 y i ( w x i + b ) = ξ i 1-y_i(w·x_i+b) = \xi_i y i ( w x i + b ) = 1 ξ i y_i(w·x_i+b)=1-\xi_i ;當 1 y i ( w x i + b ) 0 1-y_i(w·x_i+b) \le0 時,有 ξ i = 0 \xi_i =0