註：在統計學的應用中，參數估計和假設檢驗是最重要的兩個方面。參數估計是利用樣本的信息，對總體的未知參數做估計。是典型的“以偏概全”。

0. 參數及參數的估計

參數是總體分布中的參數，反映的是總體某方面特征的量。例如：合格率，均值，方差，中位數等。參數估計問題是利用從總體抽樣得到的信息來估計總體的某些參數或者參數的某些函數。

問題的一般提法

設有一個統計總體，總體的分布函數為$F(x, \theta)$，其中$\theta$為未知參數。現從該總體取樣本$X_1, X_2, ..., X_n$，要依據樣本對參數$\theta$作出估計，或估計$\theta$的某個已知函數$g(\theta)$。這類問題稱為參數估計。

參數估計分類

• 點估計，其中點估計又可以分為矩估計和最大似然估計；
• 區間估計

例如，估計降雨量：預計今年的降雨量為550mm，這是點估計；預計今年的降雨量為500 - 600mm，這是區間估計。

1. 點估計的評價

由於存在不同的方法對總體中的未知參數進行估計，利用這些不同的方法得到的估計值也不同。因此就涉及到如何評價不同估計量的好壞的問題。

常用的評價準則有以下四條：

• 無偏性準則
• 有效性準則
• 均方誤差準則
• 相合性準則

1.1 無偏性準則

無偏性是通過比較參數和參數估計量的期望來判斷的。

定義：若參數$\theta$的估計值$\hat{ \theta } = \hat{ \theta} (X_1, X_2, ..., X_n)$，滿足

$$E(\hat{ \theta }) = \theta, $$

則稱$\hat{ \theta }$是$\theta$的一個無偏估計量。

若$E(\hat{ \theta }) \neq \theta$，那麽$|E(\hat{ \theta }) - \theta|$稱為估計量$\hat{ \theta }$的偏差，若$\displaystyle \lim_{ n \to \infty } E(\hat{ \theta }) = \theta$，則稱$\hat{ \theta }$是$\theta$的漸進無偏估計量。

無偏性的統計意義：

無偏性的統計意義是指在大量重復試驗下，由$\hat{ \theta }(X_1, X_2, ..., X_n)$給出的估計的平均值恰好是$\theta$，從而無偏性保證了$\hat{ \theta }$沒有系統誤差。

圖1，無偏性

例如，工廠長期為商家提供某種商品，假設生產過程相對穩定，產品合格率為$\theta$，雖然一批貨的合格率可能會高於0,，或低於0，但無偏性能夠保證在較長一段時間內合格率趨近於$\theta$，所以雙方互不吃虧。但作為顧客購買商品，只有兩種可能，即買到的是合格產品或不合格產品，此時無偏性沒有意義。

1.2 有效性

如果兩種方法得到的結果都是無偏估計，那麽這兩種方法怎麽區分好壞呢？這時候就可以用到有效性了。有效性是根據方差來判斷估計值的好壞，方差較小的無偏估計量是一種更有效的估計量。

圖2，有效性

1.3 均方誤差

在實際應用中，均方誤差準則比無偏性準則更重要！

定義：設$X_1, X_2, ..., X_n$是從帶參數$\theta$的總體中抽出的樣本，要估計$\theta$. 若采用$\hat{\theta}$作為參數$\theta$的點估計，則其誤差為$\hat{\theta} - \theta$. 這個誤差隨樣本$X_1, X_2, ..., X_n$的具體取值而定，也是隨機的，因而其本身無法取為優良性指標. 我們取它的平方以消除符號，然後取均值，可得估計量$\hat{\theta}$的均方誤差（誤差平方的平均），$$E(\hat{\theta} - \theta)^2, $$記為$Mse(\hat{\theta})$. 若$\hat{\theta}$是$\theta$的無偏估計，則有$Mse(\hat{\theta}) = D(\hat{\theta})$.

均方誤差作為$\hat{\theta}$誤差大小從整體角度的一個衡量，這個量越小，就表示$\hat{\theta}$的誤差平均來說比較小，因而也就越優. 由定義可以看出來，均方誤差小並不能保證$\hat{\theta}$在每次使用時一定給出小的誤差，它有時也可以有較大的誤差，但這種情況出現的機會比較少.

一個例子:

用100個學生的平均成績作為全校學生平均成績的估計，比起用抽出的第一個學生的成績去估計，哪種方法更好？設總體服從正態分布，這兩個估計分別是$\bar{X} = (X_1 + ... + X_100)/100$和$X_1$，如果我們分別計算這兩個估計量的均方誤差，可得

$$E(\bar{X} - \mu)^2 = \sigma^2/100, E(X_1 - \mu)^2 = \sigma^2$$

故$X_1$的均方誤差是$\bar{X}$的100倍（如果多次隨機取樣每次取100個學生，那麽$X_1$可能是任意一位學生相當於隨機變量$X$；$\bar{X}$也可能是任意100位同學，相當於$\bar{X}$。比較可以發現，此時求$Mse(\bar{X})$以及$Mse(X_1)$的公式其實就是求$X$和$\bar{X}$的方差的定義）。

1.4 相合性

相合性準則是根據“依概率收斂”的形式來定義的。這個形式與大數定律的形式相同，因此也可以用“相合性”從估計的觀點來對大數定律作出解釋。

定義：設$\hat{\theta}(X_1, ..., X_n)$為參數$\theta$的估計量，若對於任意$\theta$，當$n \to +\infty$時，

$\hat{\theta}_n \to \theta with probability p$，即$\forall \varepsilon \gt 0$, 有$\displaystyle \lim_{ n \to \infty } P\{|\hat{\theta}_n - \theta| \geq \varepsilon\} = 0 \quad （1.4-1）$成立.

則稱$\hat{\theta}_n$為$\theta$的相合估計量或一致估計量。

對於樣本均值來說，大數定律指出當樣本量足夠大時，樣本均值依概率趨近於總體均值，就相當於這裏的估計量$\hat{\theta}$依概率趨近於帶估計參數$\theta$。也就是說，概率$........$當樣本大小為n時，樣本均值$\bar{X}_n$這個估計量與真值$\theta$的偏離達到$e$這麽大或更大的可能性。式子1.4-1表明：隨著n的增加，這種可能性越來越小，以致趨於0.

1.5 相合性與漸進無偏性有什麽區別？

這兩個定義看起來差不多，很容易混淆。從形式上來看，漸進無偏性要求的是隨著樣本量的增加，估計量的期望趨近於被估計量；而相合性要求的是估計量本身趨近於被估計量。

如果估計量是收斂的，那麽這兩個定義幾乎是等同的。但是如果估計量是不收斂的，例如始終是$-1, 1$無限循環的數列，被估計量的值恰好為0，那麽這時候滿足了漸進無偏性的條件，但是並不滿足相合性的條件。因此可以說相合性比漸進無偏性的條件更加嚴格。滿足了相合性就有極大的可能（因為相合性是依概率收斂，因此也不能說絕對滿足）是滿足漸進無偏性的，但是反過來卻不一定。

2. 再談統計量與樞軸量

概括的說，統計量本身完全是樣本的函數，自身不包含任何未知參數（樣本一旦確定，統計量的值也就定下來了），但是其分布卻往往包含未知參數；樞軸量恰恰相反，樞軸量本身就包含總體中的未知參數，但是其分布的形式一般是確定的，不包含未知參數。

2.1 統計量

前面的小結中已經多次提到了統計量：小結7中對統計量做了基本說明，並且列出了常用的統計量，這些統計量可以用來對總體中的未知參數進行點估計（例如用樣本均值估計總體均值）；小結8中提到的三大抽樣分布都是統計量的分布，這些統計量都是相互獨立且服從標準正態分布的隨機變量的函數（例如n個上述隨機變量的平方和服從自由度為n的卡方分布）。

由上面的內容，可以得到統計量的一些特點：

• 統計量可以用於對總體中的未知參數進行點估計；
• 有些統計量的分布是明確的，例如“三大統計分布”所代表的統計量；

“三大抽樣分布”都是統計量的分布，這些統計量的分布形式是明確的（有具體的數學公式，不包含未知參數），這也是為什麽這三類分布在統計學中如此重要的原因之一。因為事實上大部分的統計量要麽很難確定其分布，要麽含有未知參數。

除此之外，統計量還有以下特點（參考wiki）：

• 可觀察性：事實上也就是說統計量不含有未知參數，一旦觀察的樣本確定了，統計量的值也就確定了（例如樣本均值、樣本方差、樣本矩等）；
• 便捷性：也就是具有某種概括性，只用一個量就描述了大量樣本的某些重要特性（例如樣本均值）；
• 統計特性：完整性、一致性等；
• 分布已知且用於假設檢驗的統計量（例如三大分布所表示的統計量）也被稱為檢驗統計量。

2.2 統計量 vs 總體參數

如果一個總體中的參數未知，例如全國人口的平均身高$\mu$，一般受限於時間或是人力物力我們不可能測量整個總體來確定這個參數的準確值。通常的做法是隨機抽取一定量的樣本（例如每個省抽取總人口的1%），然後求這些樣本的平均升高（一個統計量），最後利用該統計量來估計總體中的未知參數。下面是wiki中的一個例子：

一個統計參數用於計算北美所有 25 歲的男性人口的平均身高。作為采樣，我們隨機地選擇了 100 名符合條件的人測量了身高；這 100 人的平均身高是比較容易被統計出來的，而全部符合條件的人的平均身高是很難統計的，除非把每個人都拿來測量一遍身高。當然，如果普查了所有人，那麽計算得到的數據則是統計參數（總體參數），而非統計量。

2.3 樞軸量

定義：設總體$X$有概率密度（或分布律）$f(x; \theta)$，其中$\theta$是待估的未知參數。設$X_1, ..., X_n$是一個樣本，記：

$$G = G(X_1, ..., X_n; \theta)$$

為樣本和待估參數$\theta$的函數，如果$G$的分布已知，不依賴與任何參數，就稱$G$為樞軸量。

由上述定義可以看出樞軸量的幾個特點：

• 與某個待估參數有關（事實上樞軸量法主要被用於未知參數的區間估計）；
• 本身含有未知參數（待估參數），因此不具有“可觀察性”，也就是說即使選定了樣本也無法計算出確定的值；
• 其分布是明確的（有具體的數學公式，不包含未知參數）。

一個比較常見的例子：正態分布轉換成標準正態分布時，隨機變量中還是包含未知參數，但是其分布中卻不包含任何未知參數。因此標準化之後的隨機變量是一個樞軸量。

2.4 統計量 vs 樞軸量

再次比較一下這兩個量的異同：

• 樞軸量和統計量都是樣本的函數，但是樞軸量中還包含未知參數（待估計參數）；
• 樞軸量和統計量的分布都是某種抽樣分布，與樣本本身所屬的總體分布不同；
• 樞軸量的分布不依賴於任何未知參數，統計量的分布常依賴於未知參數；
• 如果將樞軸量中的未知參數用某個已知的估計量替代，那麽樞軸量就變成統計量了；
• 統計量常用於點估計和假設檢驗；
• 樞軸量常用於區間估計。

問題：

總體$X \sim N(\mu, \sigma^2)$，$\mu, \sigma$是未知參數. 要估計參數$\mu$. 設$X_1, ..., X_n$是一樣本，請問下面三個量，

$$\bar{X}, \frac{\bar{X} - \mu}{\sigma/\sqrt{ n } }, \frac{\bar{X} - \mu}{S/\sqrt{ n } }$$

哪些是統計量？哪些是樞軸量？

答：

(1) 只有$\bar{X}$是統計量，另兩個含有未知參數，所以不是統計量；

(2) $\bar{X} \sim N(\mu, \sigma^2/n)$，分布含有未知參數；

(3) 第二項中除了$\mu$之外，還含有其他未知參數$\sigma$（不是樞軸量）；

(4) 第三項只是$\mu$和樣本的函數，服從$t(n - 1)$分布（是樞軸量）。

從這個例子可以看出來，我們之前熟知的樣本均值$\bar{X}$是一個統計量，但是它的分布是不明確的（含有未知參數）；第三項是一個樞軸量，本身含有未知參數，但是分布是明確的。

歡迎閱讀“概率論與數理統計及Python實現”系列文章

Reference

https://zh.wikipedia.org/wiki/%E7%BB%9F%E8%AE%A1%E9%87%8F

http://blog.sciencenet.cn/blog-659252-924520.html

中國大學MOOC：浙江大學&哈工大，概率論與數理統計

【概率論與數理統計】小結9 - 參數估計概述