機器學習筆記(二)矩估計,極大似然估計
阿新 • • 發佈:2019-01-04
1.引數估計:矩估計
樣本統計量
設
- 樣本均值 :
- 樣本方差:
樣本方差的分佈使用n-1而非n,是為了無偏
- k階樣本原點矩 (k=1時即均值)
- k階樣本中心矩 (k=2時即方差)
Mk=1n∑i=1n(Xi−X¯¯¯)k
1.1矩估計
那麼隨機變數的矩和樣本的矩,有什麼關係?
換個提法:假設總體服從某引數為θ (θ 為記號,無特殊意義)的分佈,從總體中抽出一部分樣本X1,X2…X ,如何去估計引數n…θ ?
假設樣本是獨立的
- 可以通過X1,X2…Xn… ,利用前面樣本統計量的公式計算樣本的k 階矩,
- 當假設樣本的k 階矩等於總體的k 階矩,可以估計出總體的引數θ
這個就是矩估計.
我們設
總體
的均值為μ ,方差σ2 ,(μ 和σ2 是未知的,待求)則有原點距
表示式:f(x)={E(X)=μE(X2)=Var(X)+[E(X)]2=μ2+σ2 根據該總體的一組
樣本
,求得原點距:{A1=1n∑ni=1XiA2=1n∑ni=1X2i - 令
μ=A1 ,μ2+σ2=A2 ,聯立方程組得:⎧⎩⎨μ=X¯¯¯σ2=1n∑ni=1X2i−X 2¯¯¯¯¯=1n∑ni=1(Xi−X¯¯¯)2- 我們就用樣本均值去估計總體均值。
- 由於是根據樣本求得的估計結果,根據記號習慣,寫作
{<