1. 程式人生 > >機器學習 LR中的參數叠代公式推導——極大似然和梯度下降

機器學習 LR中的參數叠代公式推導——極大似然和梯度下降

jpg blog 我們 應該 圖片 最大似然 gpo 機器學習實戰 pos

機器學習 LR中的參數叠代公式推導——極大似然和梯度下降

Logistic本質上是一個基於條件概率的判別模型(DiscriminativeModel)。

技術分享圖片

函數圖像為:

技術分享圖片

通過sigma函數計算出最終結果,以0.5為分界線,最終結果大於0.5則屬於正類(類別值為1),反之屬於負類(類別值為0)。

如果將上面的函數擴展到多維空間,並且加上參數,則函數變成:

技術分享圖片

接下來問題來了,如何得到合適的參數向量θ呢?

由於sigma函數的特性,我們可作出如下的假設:

技術分享圖片

上式即為在已知樣本X和參數θ的情況下,樣本X屬性正類(y=1)和負類(y=0)的條件概率。

將兩個公式合並成一個,如下:

技術分享圖片

既然概率出來了,那麽最大似然估計也該出場了。假定樣本與樣本之間相互獨立,那麽整個樣本集生成的概率即為所有樣本生成概率的乘積:

技術分享圖片

為了簡化問題,我們對整個表達式求對數,(將指數問題對數化是處理數學問題常見的方法):

技術分享圖片

滿足似然函數(θ)的最大的θ值即是我們需要求解的模型。

梯度上升算法

就像爬坡一樣,一點一點逼近極值。爬坡這個動作用數學公式表達即為:

技術分享圖片

其中,α為步長。

回到Logistic Regression問題,我們同樣對函數求偏導。

技術分享圖片

先看:

技術分享圖片

其中:

技術分享圖片

再由:

技術分享圖片

可得:

技術分享圖片

接下來就剩下第三部分:

技術分享圖片

(這個公式應該很容易理解,簡單的偏導公式)

還有就是:

技術分享圖片

綜合三部分即得到:

技術分享圖片

因此,梯度叠代公式為:

技術分享圖片

結合本式再去理解《機器學習實戰》Page 78中的代碼就很簡單了。

機器學習 LR中的參數叠代公式推導——極大似然和梯度下降