1. 程式人生 > >SVM的常見核函式及其選取

SVM的常見核函式及其選取

核函式的數學要求
核函式有嚴格的數學要求,所以設計一個核函式是很困難的。K(x,z)是正定核的充要條件是:K(x,z)對應的Gram矩陣實半正定矩陣。
Gram矩陣:矩陣對應點的內積。KTK, KKT
半正定矩陣:設A是實對稱矩陣。如果對任意的實非零列矩陣X有XTAX≥0,就稱A為半正定矩陣。
當檢驗一個K是否為正定核函式,要對任意有限輸入集{xi…}驗證K對應的Gram矩陣實是否為半正定矩陣。
參考:統計學習方法(李航)

LIBSVM中提供的核函式
線性核函式
多項式核函式
RBF核函式(高斯核函式)
sigmoid核函式
這裡寫圖片描述
首先介紹下與核函式相對應的引數:
1)對於線性核函式,沒有專門需要設定的引數
2)對於多項式核函式,有三個引數。-d用來設定多項式核函式的最高此項次數,也就是公式中的d,預設值是3。-g用來設定核函式中的gamma引數設定,也就是公式中的第一個r(gamma),預設值是1/k(k是類別數)。-r用來設定核函式中的coef0,也就是公式中的第二個r,預設值是0。
3)對於RBF核函式,有一個引數。-g用來設定核函式中的gamma引數設定,也就是公式中的第一個r(gamma),預設值是1/k(k是類別數)。
4)對於sigmoid核函式,有兩個引數。-g用來設定核函式中的gamma引數設定,也就是公式中的第一個r(gamma),預設值是1/k(k是類別數)。-r用來設定核函式中的coef0,也就是公式中的第二個r,預設值是0。

核函式的選取
可根據專家先驗知識預先選定核函式,或者採用交叉驗證,試用不同核函式。或者,採用混合核函式的方法,將不同的核函式結合起來。