在第二部分，我記錄了實驗中提取影象特徵的HOG運算元及其實現程式碼，我們接下來就要構造幾個簡單的分類器，對資料集的HOG特徵來分類，實現進球/不進球的分類任務。

分類器的設計和選擇

實驗中要用到的分類模型主要有四個：

• logistic迴歸
• SVM支援向量機
• MLP多層感知機
• CNN卷積神經網路

構建分類器的過程中總有許多因素會對最終效能產生影響，比如資料的增廣方式、模型的超引數、是否引入某個修正項等等。不同因素的組合會產生非常多的可選方案，因此我們採用交叉驗證和繪製ROC曲線的形式來確定模型的最優超引數，並比較不同引數及不同模型的優劣。交叉驗證和ROC曲線在隨後都會講到。

幾種損失函式

函式名稱	形式
均方誤差損失	$MSE=-\frac{1}{n} \sum_{i=1}^{n} (\widehat{y}_{i}-y_i)^2$ $y_i$是資料的真實標籤，$\widehat{y}_i$是模型的輸出結果
平均交叉熵損失	$-\frac{1}{m}[\sum_{i=1}^{m}\sum_{j=0}^{1}\ 1\{ y^{(i)}=j\}\ log \ p(y^{(i)}=j\mid x^{(i)};\theta)]$ $1\{ \cdot \}$是指示函式，當$y^{\left(i\right)}=j$ y^{(i)}=j時函式值為1否則為0
$0-1$損失	$L_{0,1}=\sum_{i=0}^{m}\ I_{f(x^{(i)})\ne y^{(i)}}$ $I_x$也是指示函式，0-1損失相當於記錄了模型分類出錯的次數
負對數似然損失	$NLL(\theta,D)=-\sum_{i=0}^{\mid D \mid}\ log\ P(Y=y^{(i)}\mid x^{(i)},\theta)$
$L1$正則化	$E(\theta,D)=NLL(\theta,D)+\lambda\mid \mid \theta \mid \mid_1$ $\mid \mid \theta \mid \mid_p=(\sum_{j=0}^{\mid \theta\mid}\ \mid \theta_j \mid^p)^{\frac{1}{p}} \quad p=1$
$L2$正則化	$E(\theta,D)=NLL(\theta,D)+\lambda\mid \mid \theta \mid \mid_2$ $\mid \mid \theta \mid \mid_p=(\sum_{j=0}^{\mid \theta\mid}\ \mid \theta_j \mid^p)^{\frac{1}{p}} \quad p=2$

我所理解的正則化的一個目的是限制$\theta$的各維分量不至於出現極大的值，也就是避免出現輸入向量中某一維度

Logistic迴歸

基本原理

logistic迴歸是一個基於概率的線性二分類器，通過學習一組權重向量$\omega$和偏置$b$，模型將一個輸入向量對映到一個高維空間。權重可以理解為對輸入特徵向量的線性加權，體現了不同維度對分類的重要程度，偏置可以理解為系統的零輸入響應，是系統在沒有輸入的情況下的輸出值。 $x\to \omega^Tx+b$ 實際上，模型的引數$\omega$和$b$正是決定了這個高維空間中的一個超平面，用於將樣本點分在超平面的兩側。而下面的公式也可以說明，樣本點距離超平面的距離與屬於該類別的概率成正比。 $s(x)=\frac{1}{1+e^{-(\omega^T x+b)}}$ $P(y=1|x'\theta)=\frac{1}{1+e^{-(\omega^Tx+b)}}$ 我們將輸入向量稍作改動，新增一個常數1的維度，目的是將偏置$b$寫進輸入向量$x$，同時將權重$\omega$增加一維，用於和$x'$的最後一維相乘，得到偏置。 $\omega^Tx+b=\theta^T x'$

那麼上兩式就可以改寫成 $s(x)=\frac{1}{1+e^{-\theta^Tx'}}$ $P(y=1|x'\theta)=\frac{1}{1+e^{-\theta^Tx'}}$ 其中，$\theta^Tx'$是高維空間中一點到由$\theta$決定的超平面的距離，因為$\theta^Tx'=\vec \theta \cdot \vec x$，預設向量都是列向量，$\theta$規定為超平面的法向量，它可以朝向平面任一側。距離越大，向量點積的值就越大，根據$sigmoid$函式的影象我們知道該點屬於某一類別的概率值就越接近於1，相反如果資料點在法向量$\theta$的另一側，其點積的值越接近$-1$，屬於另一類的概率就越大。

損失函式

在二值分類的問題中，我們將平均交叉熵損失函式寫成如下 $J(\theta)=-\frac{1}{m}[\sum_{i=1}^{m}y^{(i)}\ log\ h_\theta(x^{(i)})+(1-y^{(i)})log\ (1-h_\theta(x^{(i)}))]+\lambda\mid \mid \theta \mid\mid ^2_2$

相關推薦