線性分類器

假設樣本xi∈RD,i=1…N，對應類標籤yi∈1…K。現定義一個線性對映f(xi,W,b)=Wxi+b，W是K∗D的矩陣，b是K維的向量。W和b分別稱作權重（或引數）和偏。

• W的每一行都是一個分類器，每個分類器對應於一個得分。
• 通過學習W和b，我們希望正確類的得分要大於錯誤類的得分。

• 相對於KNN，一旦訓練得到W和b，我們只需將其固定，測試階段直接用即可，就不再需要測試樣本與訓練樣本再做比較，測試速度自然快上不少。

  

將圖片的三維張量拉伸成列向量，則一張圖片就可以表示成空間中的一個（帶類標籤）點。如此看來Wi是分類超平面的一次項係數，bi則是常熟項。如果b=0，則所有分類超平面都過原點。

如果令W=[W,b]，xi=[xTi,1]T則f=Wxi

機器學習中常將輸入特徵標準化。

Loss function

損失函式（loss function）也叫代價函式（cost function）或目標函式（objective）

多類SVM

對於樣本i，定義第j類的得分sj=f(xi,W)j，樣本i的損失函式定義為Li=∑j≠yimax(0,wTjxi−wTyixi+Δ)，即希望正確分類的得分至少比錯誤分類的得分多Δ.
若W能正確分類所有的樣本，則λW也能正確分類所有的樣本，這樣學習出來的W就不唯一了。所以在總的損失函式中加入正則乘法項。其實加入加入正則項最主要的目的是增強模型的泛化能力