1. 程式人生 > >似然函式,最大似然估計 簡單理解

似然函式,最大似然估計 簡單理解

摘抄自維基百科:

https://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0

https://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1

似然函式(Likelihood function、Likelihood)

  在數理統計學中,似然函式是一種關於統計模型中的引數函式,表示模型引數中的似然性。似然函式在統計推斷中有重大作用,如在最大似然估計費雪資訊之中的應用等等。“似然性”與“或然性”或“概率”意思相近,都是指某種事件發生的可能性,但是在

統計學中,“似然性”和“或然性”或“概率”又有明確的區分。概率用於在已知一些引數的情況下,預測接下來的觀測所得到的結果,而似然性則是用於在已知某些觀測所得到的結果時,對有關事物的性質的引數進行估計。

  在這種意義上,似然函式可以理解為條件概率的逆反。在已知某個引數B時,事件A會發生的概率寫作:

P(A\mid B)={\frac  {P(A,B)}{P(B)}}\!

  利用貝葉斯定理

P(B\mid A)={\frac  {P(A\mid B)\;P(B)}{P(A)}}\!

  因此,我們可以反過來構造表示似然性的方法:已知有事件A發生,運用似然函式{\mathbb  {L}}(B\mid A),我們估計引數B的可能性。形式上,似然函式也是一種條件概率函式,但我們關注的變數改變了:

b\mapsto P(A\mid B=b)\!

  注意到這裡並不要求似然函式滿足歸一性:\sum _{{b\in {\mathcal  {B}}}}P(A\mid B=b)=1。一個似然函式乘以一個正的常數之後仍然是似然函式。對所有\alpha >0,都可以有似然函式:

L(b\mid A)=\alpha \;P(A\mid B=b)\!

最大似然估計(maximum likelihood estimation ,MLE

  給定一個概率分佈D,已知其概率密度函式(連續分佈)或概率質量函式(離散分佈)為f_D,以及一個分佈引數\theta,我們可以從這個分佈中抽出一個具有n個值的取樣\mathbb{P}(x_1,x_2,\dots,x_n) = f_D(x_1,\dots,x_n \mid \theta)

但是,我們可能不知道\theta的值,儘管我們知道這些取樣資料來自於分佈D。那麼我們如何才能估計出\theta呢?一個自然的想法是從這個分佈中抽出一個具有n個值的取樣X_1, X_2, ..., X_n,然後用這些取樣資料來估計\theta.

一旦我們獲得X_1, X_2,\ldots, X_n,我們就能求得一個關於\theta的估計。最大似然估計會尋找關於\theta的最可能的值(即,在所有可能的\theta取值中,尋找一個值使這個取樣的“可能性”最大化)。這種方法正好同一些其他的估計方法不同,如\theta非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估的\theta

值。

要在數學上實現最大似然估計法,我們首先要定義似然函式:

\mbox{lik}(\theta) = f_D(x_1,\dots,x_n \mid \theta)

並且在\theta的所有取值上通過令一階導數等於零,使這個函式取到最大值。這個使可能性最大的\widehat{\theta}值即稱為\theta最大似然估計

注意

  • 這裡的似然函式是指x_1,x_2,\ldots,x_n不變時,關於\theta的一個函式。
  • 最大似然估計函式不一定是惟一的,甚至不一定存在。

----------------------------------------

另外,可以看這篇文章,有比較詳細的例子介紹: