1. 程式人生 > >[轉]如何理解似然函數

[轉]如何理解似然函數

有理 ron pos 不同 IT mat chan 作者 clas

作者:Yeung Evan
鏈接:https://www.zhihu.com/question/54082000/answer/145495695
來源:知乎

在英語語境裏,likelihood 和 probability 的日常使用是可以互換的,都表示對機會 (chance) 的同義替代。但在數學中,probability 這一指代是有嚴格的定義的,即符合柯爾莫果洛夫公理 (Kolmogorov axioms) 的一種數學對象(換句話說,不是所有的可以用0到1之間的數所表示的對象都能稱為概率),而 likelihood (function) 這一概念是由Fisher提出,他采用這個詞,也是為了凸顯他所要表述的數學對象

既和 probability 有千絲萬縷的聯系,但又不完全一樣的這一感覺。中文把它們一個翻譯為概率一個翻譯為似然也是獨具匠心。

先看似然函數的定義,它是給定聯合樣本值技術分享圖片下關於(未知)參數技術分享圖片 的函數:技術分享圖片

這裏的小技術分享圖片是指聯合樣本隨機變量技術分享圖片取到的值,即技術分享圖片

這裏的技術分享圖片是指未知參數,它屬於參數空間;

這裏的技術分享圖片是一個密度函數,特別地,它表示(給定)技術分享圖片下關於聯合樣本值技術分享圖片的聯合密度函數。

所以從定義上,似然函數和密度函數是完全不同的兩個數學對象:前者是關於技術分享圖片的函數,後者是關於技術分享圖片的函數。所以這裏的等號技術分享圖片 理解為函數值形式的相等,而不是兩個函數本身是同一函數(根據函數相等的定義,函數相等當且僅當定義域相等並且對應關系相等)。

說完兩者的區別,再說兩者的聯系。

(1)如果技術分享圖片是離散的隨機向量,那麽其概率密度函數技術分享圖片可改寫為技術分享圖片,即代表了在參數技術分享圖片下隨機向量技術分享圖片取到值技術分享圖片可能性;並且,如果我們發現

技術分享圖片

那麽似然函數就反應出這樣一個樸素推測:在參數技術分享圖片下隨機向量技術分享圖片取到值技術分享圖片可能性大於 在參數技術分享圖片下隨機向量技術分享圖片取到值技術分享圖片可能性。換句話說,我們更有理由相信(相對於技術分享圖片來說)技術分享圖片

更有可能是真實值。這裏的可能性由概率來刻畫。

(2)如果技術分享圖片是連續的隨機向量,那麽其密度函數技術分享圖片本身(如果在技術分享圖片連續的話)在技術分享圖片處的概率為0,為了方便考慮一維情況:給定一個充分小技術分享圖片,那麽隨機變量技術分享圖片取值在技術分享圖片區間內的概率即為

技術分享圖片

並且兩個未知參數的情況下做比就能約掉技術分享圖片,所以和離散情況下的理解一致,只是此時似然所表達的那種可能性概率技術分享圖片無關。

綜上,概率(密度)表達給定技術分享圖片

下樣本隨機向量技術分享圖片可能性,而似然表達了給定樣本技術分享圖片下參數技術分享圖片(相對於另外的參數技術分享圖片)為真實值的可能性。我們總是對隨機變量的取值談概率,而在非貝葉斯統計的角度下,參數是一個實數而非隨機變量,所以我們一般不談一個參數的概率

最後我們再回到技術分享圖片這個表達。首先我們嚴格記號,豎線技術分享圖片表示條件概率或者條件分布,分號技術分享圖片表示把參數隔開。所以這個式子的嚴格書寫方式是技術分享圖片因為技術分享圖片在右端只當作參數理解。

[轉]如何理解似然函數