1. 程式人生 > >神經網路學習引入-線性分類器 Linear Classification

神經網路學習引入-線性分類器 Linear Classification

線性分類器

  • 評分函式(score function):計算原始資料到所屬分類的得分
  • 損失函式(loss function):量化預測得分和實際情況之間的認可度

從影象到標籤得分的引數對映

定義評分函式 f : R D

> R K f:R^{D}->R^{K} 用於把原始圖片畫素對映到分類得分
對於線性分類器,有評分函式:
f (
x i , W , b ) = W x
i
+ b f(x_{i},W,b)=Wx_{i}+b

其中,W稱作權重;b稱作基礎向量(basic vector)。

  • 一些需要注意的點:
    假設W是一個[10*3072]的向量,b是一個[10*1]的向量。
  1. 對於每一個 x i x_{i} ,乘積 W x i Wx_{i} 用於預測十個獨立的分類,W中的每一行代表一個分類。
  2. 我們希望正確的分類在所有分類中評分最高
  3. 優點:訓練資料用於確定合適的引數W,b,一旦學習完成,我們就可以拋棄所有的訓練集,僅需儲存訓練得到的W和b。
  4. 對於測試資料的分類僅包含一個矩陣的乘法和加法運算,計算時間將會明顯快於將測試資料與所有的訓練資料進行比較。