1. 程式人生 > >支援向量機(SVM)第四章---支援向量迴歸

支援向量機(SVM)第四章---支援向量迴歸

簡單總結一下自己對SVM的認識:有一條帶區域,固定差距為1,希望最大化間隔 1 | | w |

| 。SVM的特點就是這條帶的引入。

SVR同樣有這樣的一條帶,迴歸的時候,落入帶內的點,損失為0,只記錄落入帶外的點的損失值。

SVR形式化表示:

min 1 / 2 | | w | | 2 +
C l ( f ( x i ) y i )
其中第一項是正則化項,後面的損失函式是 ϵ -不敏感損失:
i f | z | < ϵ ,l = 0
o t h e r w i s e , l = | z | ϵ

引入鬆弛變數,可以重寫為:
min 1 / 2 | | w | | 2 + C ( ξ i + ξ ^ i )
s . t . f ( x i ) y i ϵ + ξ i
y i f ( x i ) ϵ + ξ ^ i
ξ i 0 , i = 0 , . . . , n
ξ ^ i 0 , i = 0 , . . . , n

引入拉格朗日乘子,得到原問題的對偶問題:
這裡寫圖片描述
這裡寫圖片描述

滿足的KKT條件:
這裡寫圖片描述

其中, α ^ i α i 0 的樣本為支援向量,它們必然落在間隔帶之外, 落在間隔帶內的樣本 α ^ i = 0 , α i = 0 。SVR的支援向量僅是訓練樣本的一部分,即其解仍具有稀疏性。

這裡寫圖片描述