最大似然估計（MLE）

原理：設X₁, X₂…Xn是取自總體X的一個樣本，樣本的聯合密度（連續型）或聯合概率密度（離散型）為f(X₁, X₂…Xn; Θ)。當給定樣本X₁, X₂…Xn時，定義似然函式為L(Θ)= f(X₁, X₂…Xn; Θ)。

L(Θ)看作引數Θ的函式，極大似然估計法就是用使L(Θ)達到最大值的去估計真實值Θ。L()=，稱為Θ的極大似然估計（MLE）。

最大似然估計中取樣需滿足一個很重要的假設，就是所有的取樣都是獨立同分布的。

基本思想：在已經得到試驗結果（即樣本）的情況下，估計滿足這個樣本分佈的引數，將使這個樣本出現的概率最大的那個引數Θ作為真引數Θ的估計。在樣本固定的情況下，樣本出現的概率與引數Θ之間的函式，稱為似然函式。

一般步驟：

（1）由總體分佈推匯出樣本的聯合概率函式（或聯合密度）；

（2）將樣本聯合概率函式（或聯合密度）中自變數看成一直常熟，把引數Θ看作自變數，得到似然函式L(Θ)。

（3）求似然函式L(Θ)的最大值點。

（4）計算過程中，為方便計算，常常先對似然函式取對數，再求導計算極大值點；若無法求導時，要用極大似然原則（即極大似然估計的定義：使L(Θ)最大）來求解。

參考資料：

最大後驗估計（MAP）

最大後驗估計是根據經驗資料，獲得對難以觀察的量的點估計。與最大似然估計不同的是，最大後驗估計融入了被估計量的先驗分佈，即模型引數本身的概率分佈。

估計過程中，需利用先驗概率和貝葉斯定理得到後驗概率，目標函式為後驗概率的似然函式，求得該似然函式最大時的引數值，即MAP的目標結果（利用極大思想）。

求解過程中，可用梯度下降等方法進行。

參考資料：

貝葉斯估計

MLE、MAP和貝葉斯估計都是引數估計的方法，也就是需要預先知道或假設樣本的分佈形式，只是一些引數未知。

最大似然估計是最簡單的形式，其假定引數雖然未知，但是為確定數值，就是找到使得樣本的似然分佈最大的引數。最大後驗估計，和最大似然估計很相似，也是假定引數未知，但是為確定數值，只是目標函式為後驗概率形式，多了一個先驗概率項。

而貝葉斯估計和二者最大的不同在於，假定把待估計的引數看成是符合某種先驗概率分佈的隨機變數，而不是確定數值。在樣本分佈上，計算引數所有可能的情況，並通過計算引數的期望，得到後驗概率密度。

對樣本進行觀測的過程，就是把先驗概率密度轉化為後驗概率密度，這樣就利用樣本的資訊修正了對引數的初始估計值。在貝葉斯估計中，一個典型的效果就是，每得到新的觀測樣本，都使得後驗概率密度函式變得更加尖銳，使其在待估引數的真實值附近形成最大的尖峰。

參考資料：

附：

貝葉斯定理，是描述隨機事件A和B的條件概率和邊緣概率之間關係的定理。

       其中，P(A|B)是指在B發生的情況下A發生的可能性。該公式是由P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)推匯出來的。

       P(A)是A的先驗概率或邊緣概率，之所以稱為“先驗”是因為它不考慮任何B方面的影響，表示在訓練資料前假設A擁有的初試概率。

       P(A|B)是已知B發生後A的條件概率，也由於得自B的取值，而被稱作A的後驗概率。

P(B|A)是已知A發生後B的條件概率，也由於得自A的取值，而被稱作B的後驗概率。

P(B)是B的先驗概率或邊緣概率，也作標準化常量（normalizing constant）。

       在更一般化的情況，假設{Ai}是事件集合裡的部分集合，對於任意的Ai，貝葉斯定理可用下式表示：

 或

       參考資料：