1. 程式人生 > >機器學習學習筆記之二——大數定律、中心極限定理以及極大似然估計理解與用法

機器學習學習筆記之二——大數定律、中心極限定理以及極大似然估計理解與用法

  極大似然估計法常常出現在機器學習演算法的推導過程中,其使用場景或者說功能正是: 以已有樣本、已有公式去估計引數,最大可能的那個引數。

  這樣來理解,極大似然估計法其實和機器學習演算法的目標都是一樣的。那麼極大似然估計法如何來用呢?

    (1)、寫出已有公式: L(θ)。

    (2)、對L(θ)取對數: ln L(θ)。 這一步的目的是將L(θ)中的連乘操作轉化為連加。

    (3)、對ln L(θ)求 關於θ的導數,設 d (ln L(θ)) / dθ = 0,求解得到的 θ即為最大可能的那個引數

θ。

  那麼步驟看不懂怎麼辦?

   (1)、L(θ)是什麼?

       雖然之前假設了是已有公式,但是在實際問題中這個公式必然是要自己定義的。

       若第 i 個樣本中 x 事件發生的概率假設為p,,則 L(θ) = ∏ p(xi) 。 (上面第二條所說的連乘就是這裡的連乘符號)

  (2)、照葫蘆畫瓢套公式沒問題,那麼和大數定律有什麼關係?

    簡單理解一下大數定律:用部分的樣本分佈取擬合整體分佈。(拿10000個人的性別分佈去猜全世界人的性別分佈

   在最大似然估計問題最開始就要提出假設,因為最大似然估計法用到的樣本就是這部分樣本,而問題是整體,所以就用到了大數定律。

  (3)、中心極限定理來湊什麼熱鬧?

    中心極限定理和最大似然估計是沒有直接聯絡的,它也是建立在大數定律的基礎上。

    簡單理解一下中心極限定理:同一分佈的樣本的累加,會呈現出正態分佈。(我拋硬幣拋了無數次,那麼(第一次)、(第一次和第二次)、(第一次和第二次和第三次)……這樣的事件所發生的概率會呈現出正態分佈)

    對於最大似然估計法來說,往往遇到的問題就是這樣可以應用於中心極限定理的問題,畢竟正態分佈在生活中無處不在。。。