支援向量機迴歸(SVR)是支援向量機在迴歸問題上的應用模型。支援向量機迴歸模型基於不同的損失函式產生了很多變種。本文僅介紹基於ϵ$ϵ$不敏感損失函式的SVR模型。

核心思想

找到一個分離超平面(超曲面)，使得期望風險最小。

ϵ$ϵ$-SVR

ϵ$ϵ$-損失函式

ϵ$ϵ$-損失函式，就是當誤差小於ϵ$ϵ$時，該誤差可忽略。反之，誤差為ξ−|ϵ|$\xi -|ϵ|$。如圖所示：

基於ϵ$ϵ$-損失函式的SVR稱為ϵ$ϵ$-SVR。
優化問題如下：

ν$\nu$-SVR

同ν$\nu$-支援向量機分類，另設一個引數ν$\nu$來調節支援向量的個數。
優化問題如下：
C,ν$C,\nu$是使用者自由設定的，故直接將C/l$C/l$稱為C$C$,

支援向量

直觀地理解，支援向量就是對最終的w,b的計算起到作用的樣本(α⩾0$\alpha ⩾0$)。那麼根據ϵ$ϵ$不敏感函式影象，不敏感區域形同一個“管道”。管道之內的樣本對應α=0$\alpha =0$，為非支援向量；位於“管壁”上的為邊界支援向量，0<α<C$0<\alpha <C$,為邊界支援向量；位於“管道”之外的為非邊界支援向量，α⩾C$\alpha ⩾C$,為非邊界支援向量(異常點檢測時，常從非邊界支援向量中挑選異常點)；
注：圖片來自LIBSVM指導文件

我的GitHub
注：如有不當之處，請指正。