1） 極/最大似然估計 MLE

給定一堆資料，假如我們知道它是從某一種分佈中隨機取出來的，可是我們並不知道這個分佈具體的參，即“模型已定，引數未知”。例如，我們知道這個分佈是正態分佈，但是不知道均值和方差；或者是二項分佈，但是不知道均值。 最大似然估計（MLE，Maximum Likelihood Estimation）就可以用來估計模型的引數。MLE的目標是找出一組引數，使得模型產生出觀測資料的概率最大：

其中就是似然函式，表示在引數下出現觀測資料的概率。我們假設每個觀測資料是獨立的，那麼有

為了求導方便，一般對目標取log。 所以最優化對似然函式等同於最優化對數似然函式：

舉一個拋硬幣的簡單例子。 現在有一個正反面不是很勻稱的硬幣，如果正面朝上記為H，方面朝上記為T，拋10次的結果如下：

求這個硬幣正面朝上的概率有多大？

很顯然這個概率是0.2。現在我們用MLE的思想去求解它。我們知道每次拋硬幣都是一次二項分佈，設正面朝上的概率是，那麼似然函式為：

x=1表示正面朝上，x=0表示方面朝上。那麼有：

求導：

令導數為0，很容易得到：

也就是0.2 。

總結一下：求極大似然函式估計值的一般步驟
（1） 寫出似然函式； 
（2） 對似然函式取對數，並整理； 
（3） 求導數； 
（4） 解似然方程 。