最大似然估計（Maximum Likelihood Estimation），是一種統計方法，它用來求一個樣本集的相關概率密度函式的引數。最大似然估計中取樣需滿足一個很重要的假設，就是所有的取樣都是獨立同分布的。

一、最大似然估計法的基本思想

最大似然估計法的思想很簡單：在已經得到試驗結果的情況下，我們應該尋找使這個結果出現的可能性最大的那個  作為真  的估計。
　　我們分兩種情進行分析：

1．離散型總體　

設  為離散型隨機變數，其概率分佈的形式為  ，則樣本  的概率分佈為  ，在  固定時，上式表示  取值  的概率；當  固定時，它是  的函式，我們把它記為  並稱為似然函式。似然函式 

 的值的大小意味著該樣本值出現的可能性的大小。既然已經得到了樣本值  ，那它出現的可能性應該是大的，即似然函式的值應該是大的。因而我們選擇使  達到最大值的那個  作為真  的估計。

2．連續型總體 

設  為連續型隨機變數，其概率密度函式為  則  為從該總體抽出的樣本。因為  相互獨立且同分布，於是，樣本的聯合概率密度函式為
 ，在  是固定時，它是  在 處的 密度，它的大小與  落在  附近的概率的大小成正比，而當樣本值  固定時，它是 的函式。我們仍把它記為  並稱為似然函式。類似於剛才的討論，我們選擇使  最大的那個  作為真  的估計。

總之，在有了試驗結果即樣本值 

 時，似然函式  反映了  的各個不同值匯出這個結果的可能性的大小。 我們選擇使  達到最大值的那個 作為真  的估計。這種求點估計的方法就叫作最大似然法。

二、 最大似然估計的求法

假定現在我們已經觀測到一組樣本  要去估計未知引數 。一種直觀的想法是，哪一組能數值使現在的樣本 出現的可能性最大，哪一組引數可能就是真正的引數，我們就要用它作為引數的估計值。這裡，假定我們有一組樣本 .如果對引數的兩組不同的值 和 ，似然函式有如下關係
　　  ,
　　那麼，從  又是概率密度函式的角度來看，上式的意義就是引數 使 出現的可能性比引數 使 出現的可能性大，當然引數 比 更像是真正的引數.這樣的分析就導致了引數估計的一種方法，即用使似然函式達到最大值的點

 ,作為未知引數的估計，這就是所謂的最大似然估計。 現在我們討論求最大似然估計的具體方法.為簡單起見，以下記 ,求θ的極大似然估計就歸結為求  的最大值點.由於對數函式是單調增函式，所以
　　　　　　　　　　    　　　　 　(2.1)

　與 有相同的最大值點。而在許多情況下，求 的最大值點比較簡單，於是，我們就將求 的最大值點改為求 的最大值點.對 關於求導數，並命其等於零，得到方程組 
　　　　　　　　　　 ,                  (2.2)
　　稱為似然方程組。解這個方程組，又能驗證它是一個極大值點，則它必是  ，也就是 的最大值點，即為所求的最大似然估計。大多常用的重要例子多屬於這種情況。然而在一些情況下，問題比較複雜，似然方程組的解可能不唯一，這時就需要進一步判定哪一個是最大值點。
　　還需要指出，若函式  關於 的導數不存在時，我們就無法得到似然方程組 (7.2.2)，這時就必須根據最大似然估計的定義直接去  的最大值點。
　　在一些情況下，我們需要估計  。如果 分別是 的最大似然估計，則稱 為 的最大似然估計。 

三、例項

1.  正態分佈估計

設從正態總體  抽出樣本  ，這裡未知引數為mm  和  （注意我們把  看作一個引數）。似然函式為
 
　　　　 　 = 
　　它的對數為
 ，
　　似然方程組為 

　　由第一式解得
 ，
     代入第二式得
 .         
　　似然方程組有唯一解(  ，  )，而且它一定是最大值點，這是因為當  或 或∞時，非負函式  。於是  和  的最大似然估計為
 ，  .         (7.2.53.3) 
　　這裡，我們用大寫字母表示所有涉及的樣本，因為最大似然估計  和  都是統計量，離開了具體的一次試驗或觀測，它們都是隨機的。

2.泊松分佈估計

設總體  服從引數為的泊松分佈，它的分佈律為
　　　　　　　　  ， 
　　有了樣本  之後，引數λ的似然函式為 
 ，

　　似然方程為 
 ，
　　解得
　　　　　　　　　　　　  . 
　　因為  的二階導數總是負值，可見，似然函式在  處達到最大值。所以，  是λ的最大似然估計。

3.均勻分佈估計

設總體  為  上的均勻分佈，求  的最大似然估計。
　　 的概率密度函式為
　　　　　　　　　 
　　對樣本  ，
　　　　　　　　　

　　很顯然，L(a，b)作為a和b的二元函式是不連續的。這時我們不能用似然方程組(7.2.2)來求最大似然估計，而必須從最大似然估計的定義出發，求L(a，b)的最大值。為使L(a，b)達到最大，b－a應該儘量地小，但b又不能小於  ，否則，L(a，b)=0。
　　類似地，a不能大過  。因此，a和b的最大似然估計為
　　　　　　　　　   ， 
 .　

現在為止，我們以正態分佈，泊松分佈，均勻分佈的引數以及事件發生的概率的估計為例子討論了矩估計和最大似然估計。在我們所舉的例子中，除了均勻分佈外，兩種估計都是一致的。矩估計的優點是簡單，只需知道總體的矩，總體的分佈形式不必知道。而最大似然估計則必須知道總體分佈形式，並且在一般情況下，似然方程組的求解較複雜，往往需要在計算機上通過迭代運算才能計算出其近似解。

轉自：http://blog.sciencenet.cn/home.php?mod=space&uid=491809&do=blog&id=400893