似然函式,最大似然估計 簡單理解
摘抄自維基百科:
https://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0
https://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1
似然函式(Likelihood function、Likelihood)
在數理統計學中,似然函式是一種關於統計模型中的引數的函式,表示模型引數中的似然性。似然函式在統計推斷中有重大作用,如在最大似然估計和費雪資訊之中的應用等等。“似然性”與“或然性”或“概率”意思相近,都是指某種事件發生的可能性,但是在
在這種意義上,似然函式可以理解為條件概率的逆反。在已知某個引數B時,事件A會發生的概率寫作:
利用貝葉斯定理,
因此,我們可以反過來構造表示似然性的方法:已知有事件A發生,運用似然函式,我們估計引數B的可能性。形式上,似然函式也是一種條件概率函式,但我們關注的變數改變了:
注意到這裡並不要求似然函式滿足歸一性:。一個似然函式乘以一個正的常數之後仍然是似然函式。對所有,都可以有似然函式:
最大似然估計(maximum likelihood estimation ,MLE)
給定一個概率分佈,已知其概率密度函式(連續分佈)或概率質量函式(離散分佈)為,以及一個分佈引數,我們可以從這個分佈中抽出一個具有個值的取樣
但是,我們可能不知道的值,儘管我們知道這些取樣資料來自於分佈。那麼我們如何才能估計出呢?一個自然的想法是從這個分佈中抽出一個具有個值的取樣,然後用這些取樣資料來估計.
一旦我們獲得,我們就能求得一個關於的估計。最大似然估計會尋找關於的最可能的值(即,在所有可能的取值中,尋找一個值使這個取樣的“可能性”最大化)。這種方法正好同一些其他的估計方法不同,如的非偏估計,非偏估計未必會輸出一個最可能的值,而是會輸出一個既不高估也不低估的
要在數學上實現最大似然估計法,我們首先要定義似然函式:
並且在的所有取值上通過令一階導數等於零,使這個函式取到最大值。這個使可能性最大的值即稱為的最大似然估計。
注意
- 這裡的似然函式是指不變時,關於的一個函式。
- 最大似然估計函式不一定是惟一的,甚至不一定存在。
----------------------------------------
另外,可以看這篇文章,有比較詳細的例子介紹: