Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine)

構建支援向量機

1.替換邏輯迴歸函式

在邏輯迴歸中使用的代價函式J(θ)：

對於支援向量機而言，實際上，我們要將

上面式子中的這一項： $(-logh_{\theta}(x^{(i)}))$ 替換為： $cost_{1}(z)$ ，即: $cost_{1}(\theta^{T}x^{(i)})$
同樣，這一項： $((-log(1-h_{\theta}(x^{(i)}))))$ 替換為： $cost_{0}(z)$ ，即: $cost_{0}(\theta^{T}x^{(i)})$

所以對於支援向量機的最小化代價函式問題，代價函式的形式如下：

\underset{θ}{m i n} \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} c o s t_{1} (θ^{T} x^{(i)}) + (1 - y^{(i)}) c o s t_{0} (θ^{T} x^{(i)})] + \frac{λ}{2 m} \sum_{j = 1}^{n} θ_{j}^{2}

$\mathop{min}\limits_{θ} \frac{1}{m}[ \sum_{i=1}^{m} y^{(i)} cost_{1}(\theta^{T}x^{(i)})+ (1-y^{(i)}) cost_{0}(\theta^{T}x^{(i)}) ]+ \frac{\lambda}{2m} \sum_{j=1}^{n} \theta_{j}^2$

2.去除多餘的常數項 1/m

現在按照支援向量機的慣例，我們去除 $\frac{1}{m}$ 這一項，因為這一項是個常數項，即使去掉我們也可以得出相同的θ最優值：

\underset{θ}{m i n} \sum_{i = 1}^{m} [y^{(i)} c o s t_{1} (θ^{T} x^{(i)}) + (1 - y^{(i)}) c o s t_{0} (θ^{T} x^{(i)})] + \frac{λ}{2} \sum_{j = 1}^{n} θ_{j}^{2}

$\mathop{min}\limits_{θ} \sum_{i=1}^{m} [ y^{(i)} cost_{1}(\theta^{T}x^{(i)})+ (1-y^{(i)}) cost_{0}(\theta^{T}x^{(i)}) ]+ \frac{\lambda}{2} \sum_{j=1}^{n} \theta_{j}^2$

3.正則化項係數的處理

在邏輯迴歸的目標函式中，正則化項優化形式：

A + λ B

$A + \lambda B$

在支援向量機的目標函式中，正則化項優化形式：

C A + B

$CA+B$

因此，在邏輯迴歸中，如果給λ一個很大的值，那麼就意味著給與B了一個很大的權重，而在支援向量機中，就相當於對C設定了一個非常小的值，這樣一來就相當於對B給了比A更大的權重。

在支援向量機中的我們的整個優化目標函式：

\underset{θ}{m i n} C \sum_{i = 1}^{m} [y^{(i)} c o s t_{1} (θ^{T} x^{(i)}) + (1 - y^{(i)}) c o s t_{0} (θ^{T} x^{(i)})] + \frac{1}{2} \sum_{j = 1}^{n} θ_{j}^{2}

Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine)

構建支援向量機

1.替換邏輯迴歸函式

2.去除多餘的常數項 1/m

3.正則化項係數的處理

Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine)

機器學習筆記09：支援向量機（二）-核函式(Kernels)

Andrew Ng 機器學習筆記 16 ：照片OCR

Andrew Ng 機器學習筆記 15 ：大資料集梯度下降

Andrew Ng 機器學習筆記 14 ：異常檢測

Andrew Ng 機器學習筆記 13 ：降維(dimensionality reduction)

Andrew Ng 機器學習筆記 12 ：聚類

Andrew Ng 機器學習筆記 10 ：評價學習演算法

Andrew Ng 機器學習筆記 09 ：神經網路

Andrew Ng 機器學習筆記 07 ：Octave/Matlab 使用說明

斯坦福CS229機器學習筆記-Lecture8- SVM支援向量機之核方法 + 軟間隔 + SMO 演算法

【機器學習筆記17】支援向量機

機器學習之旅：支援向量機通俗導論（理解SVM的三層境界）

機器學習2-支援向量機(Support Vector Machine)

支援向量機--support vector machine

支援向量機(Support Vector Machine, SVM)

支援向量機(support vector machine)--模型的由來

支援向量機(Support Vector Machine)

斯坦福Andrew Ng---機器學習筆記（二）：Logistic Regression(邏輯迴歸)

Andrew NG 機器學習筆記-week11-應用例項：圖片文字識別（Application Example：Photo OCR）

Andrew Ng 機器學習筆記 11 ：支援向量機(Support Vector Machine)

構建支援向量機

1.替換邏輯迴歸函式

2.去除多餘的常數項 1/m

3.正則化項係數的處理

相關推薦