1. 程式人生 > >Dual SVM (對偶支援向量機)

Dual SVM (對偶支援向量機)

1. SVM 目標函式及約束條件

SVM 的介紹及數學推導參考:我的CSDN,此處直接跳過,直接給出 SVM 的目標函式和約束條件:

minw,b12wTws.t.yn(wTxn+b)1,n=1,..N

2. 拉格朗日乘子形式

利用拉格朗日乘子法可以將 1 中的有約束問題轉化為無約束問題,如下所示:

L(w,b,α)=12wTw+Nn=0αn(1yn(wTxn+b))

此時的目標函式變為:

minw,b(maxαn>0L(w,b,α))

對於不好的 b,w,會有1yn(wTx+b)>0 ,則:

maxαn>0(Ω+Nn=0αn(...
...)
)
αn

對於好的 b,w,會有1yn(wTx+b)<0 ,則:

maxαn>0(Ω+Nn=0αn(......))Ωαn0

3. 對偶形式

假設 p 表示目標函式的最優解,即:

minw,b(maxαn>