支援向量機(SVM)第四章---支援向量迴歸
阿新 • • 發佈:2018-11-27
簡單總結一下自己對SVM的認識:有一條帶區域,固定差距為1,希望最大化間隔 。SVM的特點就是這條帶的引入。
SVR同樣有這樣的一條帶,迴歸的時候,落入帶內的點,損失為0,只記錄落入帶外的點的損失值。
SVR形式化表示:
其中第一項是正則化項,後面的損失函式是
-不敏感損失:
,l = 0
, l =
引入鬆弛變數,可以重寫為:
引入拉格朗日乘子,得到原問題的對偶問題:
滿足的KKT條件:
其中, 的樣本為支援向量,它們必然落在間隔帶之外, 落在間隔帶內的樣本 。SVR的支援向量僅是訓練樣本的一部分,即其解仍具有稀疏性。