最大似然估計：

由於每一個樣本是否出現都對應著一定的概率，而且一般來說這些樣本的出現都不那麼偶然，因此我們希望這個概率分佈的引數能夠以最高的概率產生這些樣本。如果觀察到的資料為D1 , D2 , D3 ，…， DN ，那麼極大似然的目標如下：

通常上面這個概率的計算並不容易。

我們往往引入一個獨立同分布的假設：即每一個樣本既屬於我們現在要求解的分佈，同時它們彼此之間又相互獨立，彼此出現的概率互不影響。

如果上面的樣本滿足獨立同分布，則似然函式可變為：

我們要求上面函式的極值，最容易想到的方法就是求導數取極值。如果目標函式是一個凸函式，那麼它的導數為0的點就是極值點。但是現在的公式是連乘式，求導十分麻煩，故我們將函式取對數，函式的極值點不會改變。對數似然函式為：

伯努利分佈：

伯努利分佈(Bernoulli distribution)又名兩點分佈或0-1分佈，介紹伯努利分佈前首先需要引入伯努利試驗（Bernoulli trial）。

伯努利試驗是隻有兩種可能結果的單次隨機試驗，即對於一個隨機變數X而言：

伯努利試驗都可以表達為“是或否”的問題。

如果試驗E是一個伯努利試驗，將E獨立重複地進行n次，則稱這一串重複的獨立試驗為n重伯努利試驗。

進行一次伯努利試驗，成功(X=1)概率為p(0<=p<=1)，失敗(X=0)概率為1-p，則稱隨機變數X服從伯努利分佈。其概率質量函式為：

伯努利分佈的EX= p,DX=p(1-p)。

伯努利分佈是一個離散型機率分佈，是N=1時二項分佈的特殊情況。

伯努利分佈的典型例子：拋一次硬幣是正面向上嗎？剛出生的小孩是個女孩嗎？

伯努利分佈下的最大似然估計：

假設P(X = 1) = p, P(X = 0) = 1 - p，則

假如我們有一組取樣得到的資料D，則對數似然函式為

上式對P求導可得：

令導數為0，則有：

這就是伯努利分佈下最大似然法求出的結果，求得的p結果相當於所有采樣值的平均值。

高斯分佈：

其實就是正態分佈（Normal distribution），又叫高斯分佈。

若隨機變數X服從一個數學期望為μ、方差為σ^2的正態分佈，記為N(μ，σ^2)。其概率密度函式為：

正態分佈的期望值μ決定了其位置，其標準差σ決定了分佈的幅度。當μ = 0,σ = 1時的正態分佈是標準正態分佈。下圖中綠色曲線就是標準正態分佈。

高斯分佈下的最大似然估計：

已知：

那麼對數似然函式為：

上式對μ求導，可得：

令這個導數為0，有：

似然函式再對求導，有：

令這個導數為0，有：

我們可以發現，伯努利分佈和高斯分佈的最大似然法估計最終求得的引數結果和期望方差的計算方式完全一致。