1. 程式人生 > >機器學習筆記(二)矩估計,極大似然估計

機器學習筆記(二)矩估計,極大似然估計

1.引數估計:矩估計

樣本統計量

X1,X2Xn為一組樣本,則
- 樣本均值 :

X¯¯¯=1ni=1nXi
- 樣本方差:S2=1n1i=1n(XiX¯¯¯)2
樣本方差的分佈使用n-1而非n,是為了無偏
- k階樣本原點矩 (k=1時即均值)Ak=1ni=1nXki
  • k階樣本中心矩 (k=2時即方差)Mk=1ni=1n(XiX¯¯¯)k

1.1矩估計

那麼隨機變數的矩和樣本的矩,有什麼關係?
換個提法:假設總體服從某引數為θθ為記號,無特殊意義)的分佈,從總體中抽出一部分樣本X1,X2X

n,如何去估計引數θ

假設樣本是獨立的
- 可以通過X1,X2Xn,利用前面樣本統計量的公式計算樣本的k階矩,
- 當假設樣本的k階矩等於總體的k階矩,可以估計出總體的引數θ

這個就是矩估計.

  • 我們設總體的均值為μ,方差σ2,(μσ2是未知的,待求)則有原點距表示式:

    f(x)={E(X)=μE(X2)=Var(X)+[E(X)]2=μ2+σ2
  • 根據該總體的一組樣本,求得原點距:

    {A1=1nni=1XiA2=1nni=1X2i
  • μ=A1 ,μ2+σ2=A2,聯立方程組得:μ=X¯¯¯σ2=1nni=1X2iX
    2
    ¯¯¯¯¯
    =1nni=1(XiX¯¯¯)2
  • 我們就用樣本均值去估計總體均值。
  • 由於是根據樣本求得的估計結果,根據記號習慣,寫作{<