最大似然估計學習總結------MadTurtle

1. 作用

在已知試驗結果（即是樣本）的情況下，用來估計滿足這些樣本分佈的引數，把可能性最大的那個引數作為真實的引數估計。

2. 離散型

設為離散型隨機變數，為多維引數向量，如果隨機變數相互獨立且概率計算式為P{，則可得概率函式為P{}=，在固定時，上式表示的概率；當已知的時候，它又變成的函式，可以把它記為，稱此函式為似然函式。似然函式值的大小意味著該樣本值出現的可能性的大小，既然已經得到了樣本值，那麼它出現的可能性應該是較大的，即似然函式的值也應該是比較大的，因而最大似然估計就是選擇使達到最大值的那個作為真實的估計。

3. 連續型

設為連續型隨機變數，其概率密度函式為

4. 關於概率密度(PDF)

我們來考慮個簡單的情況(m=k=1)，即是引數和樣本都為1的情況。假設進行一個實驗，實驗次數定為10次，每次實驗成功率為0.2，那麼不成功的概率為0.8，用y來表示成功的次數。由於前後的實驗是相互獨立的，所以可以計算得到成功的次數的概率密度為：

= 其中y

由於y的取值範圍已定，而且也為已知，所以圖1顯示了y取不同值時的概率分佈情況，而圖2顯示了當時的y值概率情況。

圖1 時概率分佈圖

圖2 時概率分佈圖

那麼在[0,1]之間變化而形成的概率密度函式的集合就形成了一個模型。

5. 最大似然估計的求法

由上面的介紹可以知道，對於圖1這種情況y=2是最有可能發生的事件。但是在現實中我們還會面臨另外一種情況：我們已經知道了一系列的觀察值和一個感興趣的模型，現在需要找出是哪個PDF（具體來說引數為多少時）產生出來的這些觀察值。要解決這個問題，就需要用到引數估計的方法，在最大似然估計法中，我們對調PDF中資料向量和引數向量的角色，於是可以得到似然函式的定義為：

該函式可以理解為，在給定了樣本值的情況下，關於引數向量取值情況的函式。還是以上面的簡單實驗情況為例，若此時給定y為7，那麼可以得到關於的似然函式為：

繼續回顧前面所講，圖1,2是在給定的情況下，樣本向量y取值概率的分佈情況；而圖3是圖1,2橫縱座標軸相交換而成，它所描述的似然函式圖則指出在給定樣本向量y

圖3 的似然函式分佈圖

主要注意的是多數情況下，直接對變數進行求導反而會使得計算式子更加的複雜，此時可以借用對數函式。由於對數函式是單調增函式，所以與具有相同的最大值點，而在許多情況下，求的最大值點比較簡單。於是，我們將求的最大值點改為求的最大值點。

若該似然函式的導數存在，那麼對關於引數向量的各個引數求導數（當前情況向量維數為1），並命其等於零，得到方程組：

可以求得時似然函式有極值，為了進一步判斷該點位最大值而不是最小值，可以繼續求二階導來判斷函式的凹凸性，如果的二階導為負數那麼即是最大值，這裡再不細說。

還要指出，若函式關於的導數不存在，我們就無法得到似然方程組，這時就必須用其它的方法來求最大似然估計值，例如用有界函式的增減性去求的最大值點

6. 總結

最大似然估計，只是一種概率論在統計學的應用，它是引數估計的方法之一。說的是已知某個隨機樣本滿足某種概率分佈，但是其中具體的引數不清楚，引數估計就是通過若干次試驗，觀察其結果，利用結果推出引數的大概值。最大似然估計是建立在這樣的思想上：已知某個引數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個引數作為估計的真實值。

求最大似然函式估計值的一般步驟： 
（1） 寫出似然函式
（2） 對似然函式取對數，並整理
（3） 求導數
（4） 解似然方程

對於最大似然估計方法的應用，需要結合特定的環境，因為它需要你提供樣本的已知模型進而來估算引數，例如在模式識別中，我們可以規定目標符合高斯模型。而且對於該演算法，我理解為，“知道”和“能用”就行，沒必要在程式設計時將該部分實現，因為在大多數程式中只會用到我最後推匯出來的結果。個人建議，如有問題望有經驗者指出。在文獻^[1]中講解了本文的相關理論內容，在文獻^[2]附有3個推導例子。

7. 參考文獻

[1]I.J. Myung. Tutorial on maximum likelihood estimation[J]. Journal of Mathematical Psychology, 2003, 90-100.

[2] http://edu6.teacher.com.cn/ttg006a/chap7/jiangjie/72.htm

轉自：http://blog.csdn.net/yanqingan/article/details/6125812

該文通過Windows Live Writer上傳，如有版面問題影響視覺效果請見諒，可以通過點選看清晰圖！^0^