1. 程式人生 > >函式間隔和幾何間隔

函式間隔和幾何間隔

在做分類時,通常希望用一條直線來將所有的樣本分開,如圖所示,這條直線就相當於一個超平面

 

這條直線可以認為是一個超平面,其函式為,f(x)可以 取1 或者-1,(w,b)表示表示為b,表示為w。

定義函式間隔(用表示)為:

 

所有的樣本集合(xiyi)的函式間隔最小值(其中,x是特徵,y是結果標籤,i表示第i個樣本),便為超平面(w, b)關於訓練資料集T的函式間隔:

                 =mini (i=1...n)

基於引數(w,b)的這個資料案例的函式間隔為:

在給定的整個訓練資料集,函式間隔為:


假定對於一個點 ,令其垂直投影到超平面上的對應

點為 x0 是垂直於超平面的一個向量,為樣本x到超平面的距離,如下圖所示:

    根據平面幾何知識,有

    其中||w||為w的二階範數(範數是一個類似於模的表示長度的概念),是單位向量(一個向量除以它的模稱之為單位向量)。

根據,即可算出


γ

為了得到的絕對值,令乘上對應的類別 y即可得出幾何間隔(用表示)的定義

幾何間隔就是函式間隔除以||w||,而且函式間隔y*(wx+b) = y*f(x)實際上就是|f(x)|,而幾何間隔|f(x)|/||w||才是直觀上的點到超平面的距離。