最大似然估計vs最大後驗概率
1） 最大似然估計 MLE
給定一堆資料，假如我們知道它是從某一種分佈中隨機取出來的，可是我們並不知道這個分佈具體的參，即“模型已定，引數未知”。例如，我們知道這個分佈是正態分佈，但是不知道均值和方差；或者是二項分佈，但是不知道均值。 最大似然估計（MLE，Maximum Likelihood Estimation）就可以用來估計模型的引數。MLE的目標是找出一組引數，使得模型產生出觀測資料的概率最大：
其中
就是似然函式，表示在引數
下出現觀測資料的概率。我們假設每個觀測資料是獨立的，那麼有
為了求導方便，一般對目標取log。 所以最優化對似然函式等同於最優化對數似然函式：
舉一個拋硬幣的簡單例子。 現在有一個正反面不是很勻稱的硬幣，如果正面朝上記為H，方面朝上記為T，拋10次的結果如下：
求這個硬幣正面朝上的概率有多大？
很顯然這個概率是0.2。現在我們用MLE的思想去求解它。我們知道每次拋硬幣都是一次二項分佈，設正面朝上的概率是，那麼似然函式為：
x=1表示正面朝上，x=0表示方面朝上。那麼有：
求導：
令導數為0，很容易得到：
也就是0.2 。
2） 最大後驗概率 MAP
以上MLE求的是找出一組能夠使似然函式最大的引數，即。 現在問題稍微複雜一點點，假如這個引數
=0.5的可能性最大，=0.2的可能性比較小，那麼引數該怎麼估計呢？這就是MAP要考慮的問題。 MAP優化的是一個後驗概率，即給定了觀測值後使概率最大：
把上式根據貝葉斯公式展開：
我們可以看出第一項
就是似然函式，第二項
就是引數的先驗知識。取log之後就是：
回到剛才的拋硬幣例子，假設引數有一個先驗估計，它服從Beta分佈，即：
而每次拋硬幣任然服從二項分佈：
那麼，目標函式的導數為：
求導的第一項已經在上面MLE中給出了，第二項為：
令導數為0，求解為：
其中，
表示正面朝上的次數。這裡看以看出，MLE與MAP的不同之處在於，MAP的結果多了一些先驗分佈的引數。
補充知識： Beta分佈
Beat分佈是一種常見的先驗分佈，它形狀由兩個引數控制，定義域為[0,1]
Beta分佈的最大值是x等於
的時候：
所以在拋硬幣中，如果先驗知識是說硬幣是勻稱的，那麼就讓
。 但是很顯然即使它們相等，它兩的值也對最終結果很有影響。它兩的值越大，表示偏離勻稱的可能性越小：
轉載地址：http://www.cnblogs.com/sylvanas2012/p/5058065.html
參考文章：https://zhuanlan.zhihu.com/p/24291822