1. 程式人生 > >【機器學習演算法總結】線性迴歸

【機器學習演算法總結】線性迴歸

文章目錄

1 機器學習概念

  • 損失函式/代價函式:當我們選定決策函式 f (
    X ) f(X)
    時,對於給定的輸入 X X ,由 f
    ( X ) f(X)
    給出相應的輸出 Y Y ,為了能夠表現出 f
    ( X ) f(X)
    擬合的好壞,我們定義一個函式來度量擬合的程度,這個函式就稱為損失函式。比如 L ( Y , f ( X ) ) = ( Y f ( X ) ) 2 L ( Y , f ( X ) ) = ( Y - f ( X ) ) ^ { 2 }
  • 過擬合:如果一味提高模型對訓練資料的預測能力時,模型的複雜度會提高,此時對於測試資料的預測能力就會降低。
  • 正則化:解決過擬合的典型方法就是正則化,在損失函式上加一個正則化項,一般為模型引數向量的範數,他的作用是選擇損失函式和正則化項同時較小的模型引數。
  • 目標函式:目標函式即最終優化的函式,與損失函式有關,在加上正則化項之後,最終的目標函式及為 min ( Y f ( X ) ) 2 + λ J ( f ) \min ( Y - f ( X ) ) ^ { 2 } + \lambda J ( f )
  • 泛化能力:泛化能力是指模型對未知資料的預測能力,一般採用測試資料集的誤差來評價模型的泛化能力。
  • 評價函式:模型的評價一般基於訓練誤差和測試誤差,另外在分類問題中,也會用精確率,召回率和F1score等來評價模型的好壞。

2 線性迴歸

假設有資料集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) ,   , ( x m , y m ) } D = \left\{ \left( x _ { 1 } , y _ { 1 } \right) , \left( x _ { 2 } , y _ { 2 } \right) , \cdots , \left( x _ { m} , y _ { m } \right) \right\}
x i x_i 有且僅有一個特徵時,便可以構建出線性迴歸模型: f ( x ) = θ 0 + θ 1 x i f ( x ) = \theta _ { 0 } + \theta _ { 1 } x_i ,其中 θ \theta 即為要學習的引數。
x i x_i 有n個特徵時,即 x i = ( x i 1 , x i 2 , x i 3 ,   , x i n ) x_i = (x_i^1,x_i^2,x_i^3, \cdots,x_i^n) ,令 x i = ( 1 , x i 1 , x i 2 , x i 3 ,   , x i n ) x_i = (1,x_i^1,x_i^2,x_i^3, \cdots,x_i^n) θ = ( θ 0 , θ 1 , θ 2 , θ 3 ,   , θ j ,   , θ n ) \theta = (\theta_0,\theta_1,\theta_2,\theta_3, \cdots,\theta_j,\cdots,\theta_n) 。則線性迴歸模型為: f ( x i ) = θ T x i f ( x_i ) = \theta ^T x_i
然後將資料集進行向量化,其中 X = ( x 1 , x 2 , x 3 ,   , x m ) T θ = ( θ 0 , θ 1 , θ 2 , θ 3 ,   , θ n ) T X=(x_1,x_2,x_3,\cdots,x_m)^T,\theta = (\theta_0,\theta_1,\theta_2,\theta_3, \cdots,\theta_n)^T ,則 f ( X ) = X θ f ( X ) = X \theta

3 代價函式

線性迴歸的目標就是選擇出可以使得整個訓練集的預測誤差最小的模型引數,評價這一誤差的函式就是代價函式(cost function),整個訓練過程就是讓代價函式趨於最小值,這裡總結兩種代價函式:均方誤差(MSE)和平均絕對誤差(MAE)。一般來說,均方誤差更為常用。 M S E J ( θ ) = 1 2 m i = 1 m ( f ( x i ) y i ) 2 = 1 2 m ( X θ y ) T ( X θ y ) MSE:\quad J ( \theta ) = \frac { 1 } { 2 m } \sum _ { i = 1 } ^ { m } \left( f \left( x _ { i } \right) - y _ { i } \right) ^ { 2 }=\frac { 1 } { 2 m } (X \theta -y) ^T (X \theta -y)

相關推薦

no