1. 程式人生 > >簡單理解極大似然估計MLE

簡單理解極大似然估計MLE

簡單理解極大似然估計(MLE)

基本思想

使資料集中資料出現的概率(似然)最大

舉例描述

假設某一個新聞文件資料集下有體育、財經、遊戲等分類,已知體育類下的所有文件中“籃球“一詞出現了100次(可以統計得出,此處為了方便表示取成100),體育類下所有文件的總的詞彙有10000個(可以統計得出)。我們想要估計在體育類下“籃球“一詞出現的概率P(t=”籃球” | c = “體育“) 。
為了方便描述首先我們將概率P(t=”籃球” | c = “體育“) 記為p1。根據上面的基本思想,概率p1的取值應該讓體育類中出現100次籃球概率最大,那麼體育類下10000個單詞中出現100次詞彙籃球的概率可以表示成 f

(p1)=C10010000p1001(1p1)10000100
要讓上述概率最大,我們只需要對p1進行求導,令導數等與0,從而得到上述概率表示的極大值也是最大值,此時求得p1=10010000

總結一下,極大似然就是對於某個事件的概率p,p使得觀測資料集中對應該事件取值為最大。即使給定資料集中某個事件出現的概率最大。