1. 程式人生 > >引數估計-矩估計和極大似然估計概述

引數估計-矩估計和極大似然估計概述

引數估計
引數估計:是根據從總體中抽取的樣本估計總體分佈中包含的未知引數的方法。它是統計推斷的一種基本形式,是數理統計學的一個重要分支,分為點估計和區間估計兩部分。
這裡寫圖片描述
點估計:依據樣本估計總體分佈中所含的未知引數或未知引數的函式。
這裡寫圖片描述
區間估計(置信區間的估計):依據抽取的樣本,根據一定的正確度與精確度的要求,構造出適當的區間,作為總體分佈的未知引數或引數的函式的真值所在範圍的估計。例如人們常說的有百分之多少的把握保證某值在某個範圍內,即是區間估計的最簡單的應用。
這裡寫圖片描述
本文主要講述點估計的矩估計法和極大似然法
矩估計法
矩估計法的理論依據是大數定律。矩估計是基於一種簡單的“替換”思想,即用樣本矩估計總體矩。
矩的理解


在數理統計學中有一類數字特徵稱為矩。
這裡寫圖片描述
這裡寫圖片描述
這裡寫圖片描述
首先要明確的是我們求得是函式 的最大值,因為log是單調遞增的,加上log後並不影響 的最大值求解。為何導數為0就是最大值:就是我們目前所知的概率分佈函式一般屬於指數分佈族(exponential family),例如正態分佈,泊松分佈,伯努利分佈等。所以大部分情況下這些條件是滿足的。但肯定存在那種不符合的情況,只是我們一般比較少遇到。
極大似然估計總結
似然函式直接求導一般不太好求,一般得到似然函式L(θ)之後,都是先求它的對數,即ln L(θ),因為ln函式不會改變L的單調性.然後對ln L(θ)求θ的導數,令這個導數等於0,得到駐點.在這一點,似然函式取到最大值,所以叫最大似然估計法.本質原理嘛,因為似然估計是已知結果去求未知引數,對於已經發生的結果(一般是一系列的樣本值),既然他會發生,說明在未知引數θ的條件下,這個結果發生的可能性很大,所以最大似然估計求的就是使這個結果發生的可能性最大的那個θ.這個有點後驗的意思